La compañía Worldcoin, creada por el fundador de ChatGPT, ha creado un sistema de IA pensado para diferenciar a los seres humanos de los robots, una vez que la Inteligencia Artificial sea omnipresente. Una cuestión largamente imaginada por la literatura o la cultura audiovisual y que cada día es más real. Para ello, necesitan escanear el globo ocular de la población. Esta noticia evidencia que los sistemas de Inteligencia Artificial ya disponen de una enorme cantidad de datos sobre los ciudadanos y las empresas.
Por ello, es
fundamental que las empresas que desarrollan sistemas de IA y sus proveedores
pongan en marcha buenas prácticas de ciberseguridad para la IA, de
cara a prevenir ciberataques e incidentes de seguridad.
De cara a facilitar
esta tarea, la Agencia Europea para la Ciberseguridad (ENISA) acaba de hacer público un framework de
buenas prácticas de ciberseguridad para la IA (FAICP). Este marco se
basa en las investigaciones y publicaciones recurrentes que ha llevado a cabo
la agencia en los últimos años y, en especial, este 2023.
A continuación, vamos
a desgranar las claves de este framework para implementar buenas prácticas de
ciberseguridad para la IA, poniendo en valor la necesidad de que las compañías
dispongan de estrategias de seguridad avanzadas y puedan evaluar con
eficacia el riesgo dinámico de ciberseguridad al que se enfrentan.
1. El complejo
panorama de amenazas de la Inteligencia Artificial
¿Por qué es tan
importante que las organizaciones pongan en marcha buenas prácticas en
ciberseguridad para la IA?
Machine Learning, Deep
Learning, procesamiento de lenguaje natural, robots, reconocimiento de voz…
Bajo el paraguas de la Inteligencia Artificial nos podemos encontrar con
diversas tecnologías que juntas o por separado están transformando ya múltiples
sectores económicos.
La explosión de la
Inteligencia Artificial y su creciente impacto en la sociedad y la economía
trae consigo un panorama de amenazas cada vez más complejo.
1.1. Robo,
manipulación, destrucción… Categorizando las amenazas
ENISA ha efectuado un
mapeo de todas las amenazas, sistematizándolas en ocho grandes categorías:
Actividad nefasta y
abusos
Acciones maliciosas
que buscan robar información, alterar o destruir objetivos específicos, como
podría ser el modelo empleado por una IA generativa. ENISA lista una treintena
de amenazas específicas, que van desde el sabotaje de modelos, hasta el envenenamiento
de datos, pasando por ataques DDoS contra sistemas de IA o comprometer la
validación de los datos de entrenamiento de Machine Learning o su
confidencialidad.
Espionaje,
interceptación y hijacking
En esta categoría se
engloban las acciones cuyo objetivo es obtener información confidencial o interrumpir
el funcionamiento de un sistema de IA. Estamos hablando, por ejemplo, de
inferencia o robo de datos, así como de divulgación ilegítima del modelo de una
IA.
Ataques físicos
Estas amenazas buscan
destruir o sabotear los activos. Por ejemplo, lanzando ataques físicos contra
las infraestructuras del sistema de IA, manipulando las redes de comunicación o
saboteando el modelo.
Daños no
intencionados o accidentales
Las amenazas no solo
incluyen ataques dirigidos, sino también errores y fallos no intencionados que
pueden: comprometer y limitar los resultados de la IA, afectar a la
exactitud de los datos inferidos por el sistema o provocar configuraciones
erróneas de los modelos.
Fallos o
disfunciones
Esta categoría gira en
torno a los problemas de funcionamiento de un sistema de IA. El listado de
ENISA incluye más de 10 amenazas: degradación del rendimiento de un modelo ML,
datos insuficientes, fallos de un proveedor, corrupción de los índices de datos…
Interrupciones
Si la infraestructura
TIC, los sistemas o las redes de comunicación sufren interrupciones, el
servicio del sistema de IA también se ve interrumpido.
Catástrofes
Tales como desastres
naturales o fenómenos medioambientales.
Legales
Por ejemplo, que se
vea comprometida la privacidad de los datos empleados por una IA,
que se divulgue información personal o que los proveedores no cumplan con sus
obligaciones en materia de protección de datos.
2. FAICP, tres
niveles de buenas prácticas de ciberseguridad para la IA
A la luz de esta
diversa y creciente panorámica de amenazas, ENISA ha elaborado un marco
de buenas prácticas de ciberseguridad para la IA con tres grandes
objetivos en el punto de mira:
- Proteger las infraestructuras TIC y la IA
alojada en ellas,
teniendo en cuenta tanto el ciclo de vida de la Inteligencia Artificial,
como todos los elementos de la cadena de suministro de la IA y los
procesos y tecnologías asociadas a ella.
- Recopilar información sobre los requisitos
de ciberseguridad para la IA de los estados miembros de la Unión
Europea.
- Señalar los retos a los que nos
enfrentamos en materia de seguridad de la IA, así como las lagunas
existentes en las prácticas de ciberseguridad actuales, de cara a
optimizarlas y fortalecer la protección de los sistemas de IA y
de todas las empresas y ciudadanos que interactúan con sistemas de
Inteligencia Artificial.
El resultado es
un framework de buenas prácticas de ciberseguridad para la IA estructurado
en torno a tres capas o niveles:
- Capa 1. Recoge buenas prácticas de
ciberseguridad para proteger los entornos TIC donde se alojan,
desarrollan, integran, mantienen o distribuyen los sistemas de IA.
- Capa 2. Presenta prácticas de
ciberseguridad centradas en las especificidades de la IA: ciclo de vida,
propiedades, amenazas específicas, controles de seguridad…
- Capa 3. Incluye prácticas de
ciberseguridad específicas para compañías de sectores críticos como la
salud, la automoción o la energía. Esta capa del framework está pensada
para los sistemas de IA que sean categorizados como de alto riesgo en
el futuro reglamento de la IA que se aprobará, previsiblemente, a finales
de año en la Unión Europea.
3. Securizar el
ecosistema TIC de las IA (Capa 1)
Los sistemas de IA no
se desarrollan, despliegan y mantienen en el vacío, sino que forman parte de un
ecosistema TIC que los aloja. La ciberseguridad es la disciplina encargada de
proteger los activos tecnológicos de las empresas y administraciones públicas
y, por supuesto, de los ecosistemas de las IA. Lo que implica garantizar la
confidencialidad, integridad, autenticidad y disponibilidad de la
infraestructura.
Para ello, las
compañías han de llevar a cabo una gestión de la seguridad eficiente e
integral, disponiendo de servicios de ciberseguridad para:
- Analizar los riesgos, evaluando las amenazas y
vulnerabilidades, así como el impacto de un incidente de seguridad
exitoso.
- Gestionar los riesgos. Con la información obtenida en las
evaluaciones de seguridad se debe priorizar la mitigación de las amenazas
y vulnerabilidades, implementando contramedidas eficaces para proteger a
los activos empresariales, teniendo en cuenta los recursos disponibles.
Asimismo, las
compañías también pueden contratar servicios de Threat
Hunting proactivo para escrutar a los actores hostiles
potenciales, descubrir las tácticas, técnicas y procedimientos que
emplean, mejorar las capacidades de detección y respuesta e
incrementar su resiliencia frente a las amenazas persistentes avanzadas (APT).
Todas estas buenas
prácticas de ciberseguridad suponen un primer nivel de protección de
los sistemas de IA. ¿Por qué? Buscan garantizar que estos sistemas operen
en un entorno seguro.
Además, debemos
señalar que la gestión de la seguridad de las infraestructuras TIC es
una cuestión no solo de capital importancia, sino de obligatorio cumplimiento
para muchas empresas en el seno de la Unión Europea tras la aprobación en los
últimos años de las directivas NIS y NIS2, el RGPD o la Cybersecturity Act
(CSA).
4. Implementar
acciones específicas para proteger a los sistemas de IA (Capa 2)
La capa más importante
en el marco de buenas prácticas de ciberseguridad para la IA es
la segunda, puesto que aborda, directamente, buenas prácticas diseñadas para
proteger a los sistemas de IA.
Como ya señalamos
antes, la aprobación del reglamento europeo sobre IA es inminente y ya se
conoce el borrador propuesto por la Comisión y enmendado por el Parlamento
Europeo, a falta de que se negocie con el Consejo. Dicho borrador establece que
todos los sistemas de IA que se comercialicen en la UE deberán ser seguros y
respetar los derechos fundamentales de la Unión.
Esto implica poner en
marcha una estrategia de seguridad integral para proteger los activos
que conforman los sistemas de IA:
- Datos: datos en bruto, datos de entrenamiento, datos de testeo…
- Modelos: algoritmos, modelos, parámetros de modelos…
- Artefactos: frameworks de modelos, políticas de
gestión de los datos…
- Actores involucrados: propietarios de los datos, científicos
de datos, ingenieros de datos, proveedores de modelos…
- Procesos: recolección de datos, procesamiento de datos, entrenamiento y
ajuste de los modelos…
- Entorno y herramientas: librerías de algoritmos, plataformas de
Machine Learning, entornos de desarrollo integrados…
4.1. Evaluaciones
de seguridad de las IA
Más allá de las
evaluaciones de seguridad tradicionales, ENISA recomienda a las compañías que
desarrollan, alojan o integran sistemas de IA emplear esfuerzos adicionales
para evaluar los riesgos específicos de esta tecnología:
- Incluir las amenazas que figurarán en
el futuro reglamento europeo de la IA: pérdida de
transparencia, pérdida de interpretabilidad, pérdida de gestión de los
sesgos y pérdida de rendición de cuentas.
- Optimizar las tipologías de factores de
impacto: solidez, resiliencia, imparcialidad, explicitud.
- Optar por una evaluación del
riesgo dinámico de ciberseguridad, poniendo el foco en la detección de
anomalías.
4.1.1. Analizar y
monitorear amenazas y vulnerabilidades
El objetivo debe ser
disponer de los mecanismos y buenas prácticas necesarios para hacer frente a
las principales amenazas para la seguridad de los sistemas de IA y,
en especial, a los sistemas de Machine Learning, como las IA
generativas, que son el objetivo más atractivo para los actores hostiles:
- Evasión. Los atacantes buscan vulnerar los inputs del algoritmo del
sistema IA para explotar los outputs. Las perturbaciones de entrada que se
generan se denominan ejemplos adversarios.
- Envenenamiento. Los actores hostiles alteran los datos o
el modelo de la IA, con el objetivo de modificar el comportamiento del
algoritmo, cumpliendo con sus objetivos delictivos: sabotear el sistema de
IA, insertar una puerta trasera en el sistema…
- Revelación del modelo o los datos. Esta amenaza incluye las filtraciones de
información, de origen interno o externo, que afectan al modelo, sus
parámetros o los datos de entrenamiento.
- Compromiso de los componentes de una aplicación de IA. Por
ejemplo, los actores hostiles logran explotar con éxito vulnerabilidades
en una librería de código abierto empleada en el desarrollo del algoritmo
de la IA.
- Fallo o funcionamiento deficiente
de una aplicación de IA. Por ejemplo, mediante un ataque de DoS
exitoso, la introducción de un input malicioso o la existencia de un error
en el código que no se ha detectado.
Estas grandes
categorías de amenazas se pueden trasladar a un mapa de vulnerabilidades
concretas que pueden estar presentes en los sistemas de IA o en sus cadenas de
suministro: gestión ineficaz del acceso a la información crítica, uso de
componentes vulnerables para desarrollar el sistema de IA, control deficiente
de los datos que recupera el modelo o que la evaluación de seguridad
del sistema de IA no está integrada en la estrategia de seguridad de
la organización para mejorar su resiliencia.
4.2. Gestión de la
seguridad de las IA
La gestión de la
seguridad es esencial para proteger a los sistemas frente a las amenazas
y detectar vulnerabilidades antes de que sean explotadas con
éxito. Para ello, es fundamental implementar controles de seguridad y
llevar a cabo pruebas de seguridad basándose en la información recopilada
durante las evaluaciones de seguridad.
Asimismo, en lo que
respecta a los sistemas de Inteligencia Artificial hay que tener en cuenta un
aspecto esencial de los mismos: su fiabilidad. El marco de buenas
prácticas de ciberseguridad para la IA de ENISA define la fiabilidad
como «la confianza en que los sistemas de IA se comportarán dentro de las
normas especificadas, en función de algunas características». Estas
características se pueden sistematizar en tres grandes grupos:
- Características técnicas de diseño:
precisión, fiabilidad, robustez, resiliencia.
- Características socio-técnicas:
explicitud, interpretabilidad, privacidad, seguridad, gestión de los
sesgos.
- Principios que contribuyen a la fiabilidad
del sistema de IA: imparcialidad, responsabilidad, transparencia.
4.2.1. Controles de
seguridad
El marco de buenas
prácticas de ciberseguridad para la IA de ENISA propone diversos
controles de seguridad específicos para prevenir y mitigar las principales
amenazas que venimos de señalar y garantizar la fiabilidad de los
sistemas:
- Evasión. Implementar herramientas para detectar si un input se trata de un
ejemplo adverso, recurrir al entrenamiento de adversarios para robustecer
la seguridad del modelo o emplear modelos que no sean fácilmente
transferibles, para evitar que los actores hostiles puedan estudiar el
algoritmo del sistema de IA.
- Envenenamiento. Para prevenir los ataques de
envenenamiento es fundamental securizar los componentes del sistema a lo
largo de todo su ciclo de vida, evaluar de forma continua la
ciberexposición del modelo que emplea el sistema, ampliar el tamaño del
conjunto de datos para reducir la capacidad de las muestras maliciosas de
influir en el modelo e implementar mecanismos de pre-procesamiento para
limpiar los datos de entrenamiento.
- Revelación de modelos o datos. Los mecanismos para controlar el acceso
deben ser robustos.
- Compromiso de los componentes de la
aplicación de IA. Reducir
el nivel de compromiso de los componentes pasa por aplicar políticas de
seguridad adecuadas e integradas en la estrategia de seguridad de la
organización, así como en la gestión de los activos IT.
- Fallo o funcionamiento deficiente
de la aplicación de IA. De cara a prevenir los fallos de las
aplicaciones de IA es fundamental que los algoritmos presenten un sesgo
reducido y se evalúen continuamente para garantizar su resistencia en el
entorno en el que van a operar, además, han de ser explicables para poder
detectar vulnerabilidades en ellos.
4.2.2. Pruebas de
seguridad
Las pruebas de
seguridad de las IA tienen numerosos puntos en común con las pruebas
de seguridad de las aplicaciones de software tradicionales, pero también deben
atender a las especificidades de esta tecnología:
- Las diferencias entre la IA subsimbólica y
los sistemas tradicionales repercuten en la seguridad y en cómo se
efectúan las pruebas.
- Los sistemas de IA pueden
evolucionar con el paso del tiempo gracias al autoaprendizaje, lo
que supone que las propiedades de seguridad puedan degradarse. De ahí que
los test dinámicos sean esenciales para comprobar la eficiencia de los
controles de seguridad implementados.
- En los sistemas de IA los datos de
entrenamiento conforman el comportamiento de la IA subsimbólica, en
contraste con los sistemas de software tradicionales.
Por ello, siguiendo el
informe sobre pruebas de seguridad para IA del ETSI, se debe:
- Emplear nuevos enfoques en lo relativo a
las pruebas de seguridad para la IA.
- Usar oráculos de pruebas de seguridad para
la IA, de cara a determinar cuándo se ha superado con éxito un test, es
decir, cuándo no se ha podido detectar ninguna vulnerabilidad, y cuándo se
detectó una vulnerabilidad.
- Definir criterios de adecuación de
las pruebas de seguridad para la IA, con el objetivo de poder medir el
progreso global en materia de ciberseguridad y establecer cuándo se debe
parar una prueba de seguridad.
5. Buenas prácticas
de ciberseguridad para sectores específicos (Capa 3)
El tercer nivel del
marco de buenas prácticas de ciberseguridad para la IA está
centrado en proponer medidas específicas para algunos sectores críticos a
nivel económico y social, en los que, además, la Inteligencia Artificial ya
juega un papel fundamental:
- Energía. La ciberseguridad de este sector se puede ver lastrada por el uso
de tecnologías con vulnerabilidades conocidas, inexistencia de una cultura
de la ciberseguridad entre empresas, proveedores y contratistas o sistemas
de control anticuados.
- Salud. Los ciberataques a hospitales y centros médicos han ido en
aumento en los últimos tiempos. Para muestra, el ciberataque que paralizó
la actividad del Hospital Clínic de Barcelona. Los delincuentes pueden
atacar los dispositivos médicos, los canales de comunicación y las
aplicaciones. La IA está llamada a jugar un papel esencial en el terreno
de la salud, de ahí que sea fundamental proteger los modelos y datos de
estos sistemas.
- Automoción. La automoción es un sector que siempre
ha estado a la vanguardia de la robotización y el uso de soluciones de IA.
Tal es así que la producción de vehículos autónomos puede suponer un
cambio radical en nuestra economía y sociedad, de ahí que la ciberseguridad
sea esencial para evitar:
- Ciberataques contra los modelos de
procesamiento de imágenes que
permiten reconocer señales de tráfico y detectar carriles.
- Ataques de envenenamiento de datos en la
detección de señales de stop.
- Ataques relacionados con despliegues
a gran escala de firmwares fraudulentos.
- Telecomunicaciones. La integración de sistemas de IA puede
ser esencial para disponer de redes capaces de auto-optimizarse, usar el
análisis predictivo para mejorar el mantenimiento e incrementar la
seguridad detectando actividades fraudulentas. Lo que implica disponer de
una estrategia de seguridad robusta que proteja a todos los sistemas de IA
empleados y evite la manipulación o la interrupción del servicio.
6. El futuro del
binomio IA-ciberseguridad
El marco de buenas
prácticas de ciberseguridad para la IA diseñado por ENISA evidencia la
estrecha relación que existe entre la Inteligencia Artificial y la
ciberseguridad, y pone el foco sobre cómo las sinergias entre ambas son
esenciales para construir un mundo seguro, más aún, en un momento en el que la
IA es cada vez más relevante económica y socialmente.
¿Qué cuestiones
estratégicas pueden marcar la diferencia a la hora de construir un
ecosistema de IA seguro? ENISA propone al final de la guía sobre buenas
prácticas de ciberseguridad para la IA una serie de recomendaciones para los
expertos en ciberseguridad y las compañías que desarrollan o integran sistemas
de IA.
6.1. Cómo abordar
la ciberseguridad de la IA
- Evaluación dinámica de las fuentes y los
datos, puesto que la
fiabilidad de los algoritmos de las IA depende de ellos.
- Análisis continuo de la seguridad de los
datos a lo largo de
todo su ciclo de vida, ya que el envenenamiento de los datos se puede
llevar a cabo en cualquier momento.
- Frente a las pruebas de seguridad
estáticas, se debe optar por una metodología de vanguardia como el riesgo
dinámico de ciberseguridad, ya que los sistemas de IA se
caracterizan por aprender y evolucionar constantemente. El análisis del
riesgo dinámico de ciberseguridad y la priorización de amenazas es
esencial para securizar a los sistemas de IA y, en
especial, a los de Machine Learning, a lo largo de todo su ciclo de vida.
- La colaboración entre los expertos en
ciberseguridad, los científicos de datos y otros profesionales como
psicólogos o juristas es fundamental para identificar las nuevas amenazas
que vayan surgiendo, tomar contramedidas eficaces y mejorar la
resiliencia de los sistemas de IA.
En definitiva, la
Inteligencia Artificial es un ámbito en constante evolución que está llamado a
generar enormes transformaciones en el tejido productivo y nuestra forma de
vivir. Por ello, es fundamental que las estrategias de ciberseguridad presten
atención a las especificidades de las IA y protejan los modelos y los datos que
estas consumen, pero también a la infraestructura que las aloja.
