¿Por qué es tan importante que las organizaciones pongan en marcha buenas prácticas en ciberseguridad para la IA?
Machine Learning, Deep Learning, procesamiento de lenguaje natural, robots, reconocimiento de voz… Bajo el paraguas de la Inteligencia Artificial nos podemos encontrar con diversas tecnologías que juntas o por separado están transformando ya múltiples sectores económicos.
La explosión de la Inteligencia Artificial y su creciente impacto en la sociedad y la economía trae consigo un panorama de amenazas cada vez más complejo.
Robo, manipulación, destrucción… Categorizando las amenazas
ENISA ha efectuado un mapeo de todas las amenazas, sistematizándolas en ocho grandes categorías:
Actividad nefasta y abusos
Acciones maliciosas que buscan robar información, alterar o destruir objetivos específicos, como podría ser el modelo empleado por una IA generativa. ENISA lista una treintena de amenazas específicas, que van desde el sabotaje de modelos, hasta el envenenamiento de datos, pasando por ataques DDoS contra sistemas de IA o comprometer la validación de los datos de entrenamiento de Machine Learning o su confidencialidad.
Espionaje, interceptación y hijacking
En esta categoría se engloban las acciones cuyo objetivo es obtener información confidencial o interrumpir el funcionamiento de un sistema de IA. Estamos hablando, por ejemplo, de inferencia o robo de datos, así como de divulgación ilegítima del modelo de una IA.
Ataques físicos
Estas amenazas buscan destruir o sabotear los activos. Por ejemplo, lanzando ataques físicos contra las infraestructuras del sistema de IA, manipulando las redes de comunicación o saboteando el modelo.
Daños no intencionados o accidentales
Las amenazas no solo incluyen ataques dirigidos, sino también errores y fallos no intencionados que pueden: comprometer y limitar los resultados de la IA, afectar a la exactitud de los datos inferidos por el sistema o provocar configuraciones erróneas de los modelos.
Fallos o disfunciones
Esta categoría gira en torno a los problemas de funcionamiento de un sistema de IA. El listado de ENISA incluye más de 10 amenazas: degradación del rendimiento de un modelo ML, datos insuficientes, fallos de un proveedor, corrupción de los índices de datos…
Interrupciones
Si la infraestructura TIC, los sistemas o las redes de comunicación sufren interrupciones, el servicio del sistema de IA también se ve interrumpido.
Catástrofes
Tales como desastres naturales o fenómenos medioambientales.
Legales
Por ejemplo, que se vea comprometida la privacidad de los datos empleados por una IA, que se divulgue información personal o que los proveedores no cumplan con sus obligaciones en materia de protección de datos.
FAICP, tres niveles de buenas prácticas de ciberseguridad para la IA
A la luz de esta diversa y creciente panorámica de amenazas, ENISA ha elaborado un marco de buenas prácticas de ciberseguridad para la IA con tres grandes objetivos en el punto de mira:
- Proteger las infraestructuras TIC y la IA alojada en ellas, teniendo en cuenta tanto el ciclo de vida de la Inteligencia Artificial, como todos los elementos de la cadena de suministro de la IA y los procesos y tecnologías asociadas a ella.
- Recopilar información sobre los requisitos de ciberseguridad para la IA de los estados miembros de la Unión Europea.
- Señalar los retos a los que nos enfrentamos en materia de seguridad de la IA, así como las lagunas existentes en las prácticas de ciberseguridad actuales, de cara a optimizarlas y fortalecer la protección de los sistemas de IA y de todas las empresas y ciudadanos que interactúan con sistemas de Inteligencia Artificial.
El resultado es un framework de buenas prácticas de ciberseguridad para la IA estructurado en torno a tres capas o niveles:
- Capa 1. Recoge buenas prácticas de ciberseguridad para proteger los entornos TIC donde se alojan, desarrollan, integran, mantienen o distribuyen los sistemas de IA.
- Capa 2. Presenta prácticas de ciberseguridad centradas en las especificidades de la IA: ciclo de vida, propiedades, amenazas específicas, controles de seguridad…
- Capa 3. Incluye prácticas de ciberseguridad específicas para compañías de sectores críticos como la salud, la automoción o la energía. Esta capa del framework está pensada para los sistemas de IA que sean categorizados como de alto riesgo en el futuro reglamento de la IA que se aprobará, previsiblemente, a finales de año en la Unión Europea.
Securizar el ecosistema TIC de las IA (Capa 1)
Los sistemas de IA no se desarrollan, despliegan y mantienen en el vacío, sino que forman parte de un ecosistema TIC que los aloja. La ciberseguridad es la disciplina encargada de proteger los activos tecnológicos de las empresas y administraciones públicas y, por supuesto, de los ecosistemas de las IA. Lo que implica garantizar la confidencialidad, integridad, autenticidad y disponibilidad de la infraestructura.
Para ello, las compañías han de llevar a cabo una gestión de la seguridad eficiente e integral, disponiendo de servicios de ciberseguridad para:
- Analizar los riesgos, evaluando las amenazas y vulnerabilidades, así como el impacto de un incidente de seguridad exitoso.
- Gestionar los riesgos. Con la información obtenida en las evaluaciones de seguridad se debe priorizar la mitigación de las amenazas y vulnerabilidades, implementando contramedidas eficaces para proteger a los activos empresariales, teniendo en cuenta los recursos disponibles.
Asimismo, las compañías también pueden contratar servicios de Threat Hunting proactivo para escrutar a los actores hostiles potenciales, descubrir las tácticas, técnicas y procedimientos que emplean, mejorar las capacidades de detección y respuesta e incrementar su resiliencia frente a las amenazas persistentes avanzadas (APT).
Todas estas buenas prácticas de ciberseguridad suponen un primer nivel de protección de los sistemas de IA. ¿Por qué? Buscan garantizar que estos sistemas operen en un entorno seguro.
Además, debemos señalar que la gestión de la seguridad de las infraestructuras TIC es una cuestión no solo de capital importancia, sino de obligatorio cumplimiento para muchas empresas en el seno de la Unión Europea tras la aprobación en los últimos años de las directivas NIS y NIS2, el RGPD o la Cybersecturity Act (CSA).
Implementar acciones específicas para proteger a los sistemas de IA (Capa 2)
La capa más importante en el marco de buenas prácticas de ciberseguridad para la IA es la segunda, puesto que aborda, directamente, buenas prácticas diseñadas para proteger a los sistemas de IA.
Como ya señalamos antes, la aprobación del reglamento europeo sobre IA es inminente y ya se conoce el borrador propuesto por la Comisión y enmendado por el Parlamento Europeo, a falta de que se negocie con el Consejo. Dicho borrador establece que todos los sistemas de IA que se comercialicen en la UE deberán ser seguros y respetar los derechos fundamentales de la Unión.
Esto implica poner en marcha una estrategia de seguridad integral para proteger los activos que conforman los sistemas de IA:
- Datos: datos en bruto, datos de entrenamiento, datos de testeo…
- Modelos: algoritmos, modelos, parámetros de modelos…
- Artefactos: frameworks de modelos, políticas de gestión de los datos…
- Actores involucrados: propietarios de los datos, científicos de datos, ingenieros de datos, proveedores de modelos…
- Procesos: recolección de datos, procesamiento de datos, entrenamiento y ajuste de los modelos…
- Entorno y herramientas: librerías de algoritmos, plataformas de Machine Learning, entornos de desarrollo integrados…
Evaluaciones de seguridad de las IA
Más allá de las evaluaciones de seguridad tradicionales, ENISA recomienda a las compañías que desarrollan, alojan o integran sistemas de IA emplear esfuerzos adicionales para evaluar los riesgos específicos de esta tecnología:
Incluir las amenazas que figurarán en el futuro reglamento europeo de la IA: pérdida de transparencia, pérdida de interpretabilidad, pérdida de gestión de los sesgos y pérdida de rendición de cuentas.
Optimizar las tipologías de factores de impacto: solidez, resiliencia, imparcialidad, explicitud.
Optar por una evaluación del riesgo dinámico de ciberseguridad, poniendo el foco en la detección de anomalías.
Analizar y monitorear amenazas y vulnerabilidades
El objetivo debe ser disponer de los mecanismos y buenas prácticas necesarios para hacer frente a las principales amenazas para la seguridad de los sistemas de IA y, en especial, a los sistemas de Machine Learning, como las IA generativas, que son el objetivo más atractivo para los actores hostiles:
- Evasión. Los atacantes buscan vulnerar los inputs del algoritmo del sistema IA para explotar los outputs. Las perturbaciones de entrada que se generan se denominan ejemplos adversarios.
- Envenenamiento. Los actores hostiles alteran los datos o el modelo de la IA, con el objetivo de modificar el comportamiento del algoritmo, cumpliendo con sus objetivos delictivos: sabotear el sistema de IA, insertar una puerta trasera en el sistema…
- Revelación del modelo o los datos. Esta amenaza incluye las filtraciones de información, de origen interno o externo, que afectan al modelo, sus parámetros o los datos de entrenamiento.
- Compromiso de los componentes de una aplicación de IA. Por ejemplo, los actores hostiles logran explotar con éxito vulnerabilidades en una librería de código abierto empleada en el desarrollo del algoritmo de la IA.
- Fallo o funcionamiento deficiente de una aplicación de IA. Por ejemplo, mediante un ataque de DoS exitoso, la introducción de un input malicioso o la existencia de un error en el código que no se ha detectado.
Estas grandes categorías de amenazas se pueden trasladar a un mapa de vulnerabilidades concretas que pueden estar presentes en los sistemas de IA o en sus cadenas de suministro: gestión ineficaz del acceso a la información crítica, uso de componentes vulnerables para desarrollar el sistema de IA, control deficiente de los datos que recupera el modelo o que la evaluación de seguridad del sistema de IA no está integrada en la estrategia de seguridad de la organización para mejorar su resiliencia.
Gestión de la seguridad de las IA
La gestión de la seguridad es esencial para proteger a los sistemas frente a las amenazas y detectar vulnerabilidades antes de que sean explotadas con éxito. Para ello, es fundamental implementar controles de seguridad y llevar a cabo pruebas de seguridad basándose en la información recopilada durante las evaluaciones de seguridad.
Asimismo, en lo que respecta a los sistemas de Inteligencia Artificial hay que tener en cuenta un aspecto esencial de los mismos: su fiabilidad. El marco de buenas prácticas de ciberseguridad para la IA de ENISA define la fiabilidad como «la confianza en que los sistemas de IA se comportarán dentro de las normas especificadas, en función de algunas características». Estas características se pueden sistematizar en tres grandes grupos:
- Características técnicas de diseño: precisión, fiabilidad, robustez, resiliencia.
- Características socio-técnicas: explicitud, interpretabilidad, privacidad, seguridad, gestión de los sesgos.
- Principios que contribuyen a la fiabilidad del sistema de IA: imparcialidad, responsabilidad, transparencia.
Controles de seguridad
El marco de buenas prácticas de ciberseguridad para la IA de ENISA propone diversos controles de seguridad específicos para prevenir y mitigar las principales amenazas que venimos de señalar y garantizar la fiabilidad de los sistemas:
- Evasión. Implementar herramientas para detectar si un input se trata de un ejemplo adverso, recurrir al entrenamiento de adversarios para robustecer la seguridad del modelo o emplear modelos que no sean fácilmente transferibles, para evitar que los actores hostiles puedan estudiar el algoritmo del sistema de IA.
- Envenenamiento. Para prevenir los ataques de envenenamiento es fundamental securizar los componentes del sistema a lo largo de todo su ciclo de vida, evaluar de forma continua la ciberexposición del modelo que emplea el sistema, ampliar el tamaño del conjunto de datos para reducir la capacidad de las muestras maliciosas de influir en el modelo e implementar mecanismos de pre-procesamiento para limpiar los datos de entrenamiento.
- Revelación de modelos o datos. Los mecanismos para controlar el acceso deben ser robustos.
- Compromiso de los componentes de la aplicación de IA. Reducir el nivel de compromiso de los componentes pasa por aplicar políticas de seguridad adecuadas e integradas en la estrategia de seguridad de la organización, así como en la gestión de los activos IT.
- Fallo o funcionamiento deficiente de la aplicación de IA. De cara a prevenir los fallos de las aplicaciones de IA es fundamental que los algoritmos presenten un sesgo reducido y se evalúen continuamente para garantizar su resistencia en el entorno en el que van a operar, además, han de ser explicables para poder detectar vulnerabilidades en ellos.
Pruebas de seguridad
Las pruebas de seguridad de las IA tienen numerosos puntos en común con las pruebas de seguridad de las aplicaciones de software tradicionales, pero también deben atender a las especificidades de esta tecnología:
- Las diferencias entre la IA subsimbólica y los sistemas tradicionales repercuten en la seguridad y en cómo se efectúan las pruebas.
- Los sistemas de IA pueden evolucionar con el paso del tiempo gracias al autoaprendizaje, lo que supone que las propiedades de seguridad puedan degradarse. De ahí que los test dinámicos sean esenciales para comprobar la eficiencia de los controles de seguridad implementados.
- En los sistemas de IA los datos de entrenamiento conforman el comportamiento de la IA subsimbólica, en contraste con los sistemas de software tradicionales.
Por ello, siguiendo el informe sobre pruebas de seguridad para IA del ETSI, se debe:
- Emplear nuevos enfoques en lo relativo a las pruebas de seguridad para la IA.
- Usar oráculos de pruebas de seguridad para la IA, de cara a determinar cuándo se ha superado con éxito un test, es decir, cuándo no se ha podido detectar ninguna vulnerabilidad, y cuándo se detectó una vulnerabilidad.
- Definir criterios de adecuación de las pruebas de seguridad para la IA, con el objetivo de poder medir el progreso global en materia de ciberseguridad y establecer cuándo se debe parar una prueba de seguridad.
Buenas prácticas de ciberseguridad para sectores específicos (Capa 3)
El tercer nivel del marco de buenas prácticas de ciberseguridad para la IA está centrado en proponer medidas específicas para algunos sectores críticos a nivel económico y social, en los que, además, la Inteligencia Artificial ya juega un papel fundamental:
- Energía. La ciberseguridad de este sector se puede ver lastrada por el uso de tecnologías con vulnerabilidades conocidas, inexistencia de una cultura de la ciberseguridad entre empresas, proveedores y contratistas o sistemas de control anticuados.
- Salud. Los ciberataques a hospitales y centros médicos han ido en aumento en los últimos tiempos. Para muestra, el ciberataque que paralizó la actividad del Hospital Clínic de Barcelona. Los delincuentes pueden atacar los dispositivos médicos, los canales de comunicación y las aplicaciones. La IA está llamada a jugar un papel esencial en el terreno de la salud, de ahí que sea fundamental proteger los modelos y datos de estos sistemas.
- Automoción. La automoción es un sector que siempre ha estado a la vanguardia de la robotización y el uso de soluciones de IA. Tal es así que la producción de vehículos autónomos puede suponer un cambio radical en nuestra economía y sociedad, de ahí que la ciberseguridad sea esencial para evitar:
- Ciberataques contra los modelos de procesamiento de imágenes que permiten reconocer señales de tráfico y detectar carriles.
- Ataques de envenenamiento de datos en la detección de señales de stop.
- Ataques relacionados con despliegues a gran escala de firmwares fraudulentos.
- Telecomunicaciones. La integración de sistemas de IA puede ser esencial para disponer de redes capaces de auto-optimizarse, usar el análisis predictivo para mejorar el mantenimiento e incrementar la seguridad detectando actividades fraudulentas. Lo que implica disponer de una estrategia de seguridad robusta que proteja a todos los sistemas de IA empleados y evite la manipulación o la interrupción del servicio.
El futuro del binomio IA-ciberseguridad
El marco de buenas prácticas de ciberseguridad para la IA diseñado por ENISA evidencia la estrecha relación que existe entre la Inteligencia Artificial y la ciberseguridad, y pone el foco sobre cómo las sinergias entre ambas son esenciales para construir un mundo seguro, más aún, en un momento en el que la IA es cada vez más relevante económica y socialmente.
¿Qué cuestiones estratégicas pueden marcar la diferencia a la hora de construir un ecosistema de IA seguro? ENISA propone al final de la guía sobre buenas prácticas de ciberseguridad para la IA una serie de recomendaciones para los expertos en ciberseguridad y las compañías que desarrollan o integran sistemas de IA.
Cómo abordar la ciberseguridad de la IA
- Evaluación dinámica de las fuentes y los datos, puesto que la fiabilidad de los algoritmos de las IA depende de ellos.
- Análisis continuo de la seguridad de los datos a lo largo de todo su ciclo de vida, ya que el envenenamiento de los datos se puede llevar a cabo en cualquier momento.
- Frente a las pruebas de seguridad estáticas, se debe optar por una metodología de vanguardia como el riesgo dinámico de ciberseguridad, ya que los sistemas de IA se caracterizan por aprender y evolucionar constantemente. El análisis del riesgo dinámico de ciberseguridad y la priorización de amenazas es esencial para securizar a los sistemas de IA y, en especial, a los de Machine Learning, a lo largo de todo su ciclo de vida.
- La colaboración entre los expertos en ciberseguridad, los científicos de datos y otros profesionales como psicólogos o juristas es fundamental para identificar las nuevas amenazas que vayan surgiendo, tomar contramedidas eficaces y mejorar la resiliencia de los sistemas de IA
En definitiva, la Inteligencia Artificial es un ámbito en constante evolución que está llamado a generar enormes transformaciones en el tejido productivo y nuestra forma de vivir. Por ello, es fundamental que las estrategias de ciberseguridad presten atención a las especificidades de las IA y protejan los modelos y los datos que estas consumen, pero también a la infraestructura que las aloja.
La colaboración entre expertos en ciberseguridad y los ingenieros y científicos de datos será crucial para construir un ecosistema de IA seguro, fiable y que cumpla con las normativas. Así como la Inteligencia Artificial contribuye a optimizar los servicios de ciberseguridad y aumentar su eficiencia, los conocimientos, técnicas y capacidades de los profesionales de ciberseguridad son esenciales para diseñar, desarrollar, desplegar y mantener sistemas de IA seguros.
