La Inteligencia Artificial está llamada a revolucionar nuestra economía y nuestro modo de vida, pero ¿cuáles son los riesgos de seguridad de la IA?
Lo que la literatura o
el cine plantearon como una posibilidad durante décadas, se ha transformado,
hoy en día, en una realidad tangible. La Inteligencia Artificial ya forma parte
de nuestras vidas y se ha convertido en una de las grandes cuestiones de esta
era, al calor del Machine Learning o la IA generativa. Tal es así que la
Inteligencia Artificial está llamada a cambiar nuestro tejido productivo y la
forma en la que vivimos. Pero, ¿solo tiene ventajas? ¿Cuáles son los riesgos
de seguridad de la IA?
En los últimos años y,
en especial, en 2023, diversas organizaciones han incrementado su producción de
metodologías y guías para poner el foco sobre los riesgos de seguridad de la IA
y ayudar a las compañías a prevenirlos con éxito.
Así, la European
Union Agency for Cybersecurity (ENISA) ha publicado diversos frameworks, metodologías e
informes que abordan los riesgos de seguridad de la IA y los
desafíos a los que deben hacer frente las empresas.
El
estadounidense National Institute of Standards and Technology (NIST) ha
creado un marco para gestionar los riesgos de seguridad de la IA. Y
la fundación OWASP, referente metodológico a nivel global, ha puesto en
marcha un proyecto para abordar los riesgos de seguridad de la IA.
Ya en el plano
regulatorio, la Unión Europea está dando los últimos pasos en la tramitación y
aprobación de la Artificial Intelligence Act. El borrador del reglamento,
que ahora deben negociar el Parlamento Europeo y el Consejo, hace especial
hincapié en la relación entre ciberseguridad e IA.
A continuación, vamos
a desgranar los principales riesgos de seguridad de la IA que
las compañías que desarrollan Inteligencia Artificial y las empresas que
emplean esta tecnología disruptiva deben tener en cuenta para detectar
amenazas, prevenir incidentes de seguridad y cumplir con un marco normativo que
cada vez será más exigente.
La IA es una de las grandes aliadas de la ciberseguridad
ChatGPT, Midjourney,
DALL-E, Copy AI… 2023 quedará marcado en nuestro recuerdo como el año en que
las IA generativas, es decir, capaces de crear contenido y atender a las
peticiones de las personas, han acaparado la atención de la opinión pública
mundial.
Sin embargo, la
historia de la Inteligencia Artificial se puede rastrear desde Alan Turing y ya
tiene a sus espaldas lustros de investigación y desarrollo de herramientas de
Machine Learning, redes neuronales, Deep Learning o procesamiento de lenguaje
natural.
De hecho, la
Inteligencia Artificial ya está presente en múltiples dispositivos y
tecnologías que usan las empresas y los ciudadanos en su día a día para
automatizar tareas u optimizar la toma de decisiones.
En este sentido, la
Inteligencia Artificial se ha convertido en una gran aliada de los
profesionales de ciberseguridad y las compañías a la hora de
fortalecer sus capacidades defensivas y mejorar su resiliencia frente a los
ciberataques.
Sin ir más lejos,
gracias a las herramientas de Machine Learning ha sido posible automatizar la
detección de amenazas o la puesta en marcha de mecanismos de respuesta ante los
ataques. Así como optimizar las evaluaciones de seguridad y la priorización de
las vulnerabilidades, predecir patrones de ataque de los actores hostiles,
extraer información de gran valor añadido de los datos para identificar
vulnerabilidades antes que los delincuentes o mejorar los análisis forenses
para subsanar los problemas detectados.
Y la ciberseguridad de la IA
Ante la creciente
relevancia de los sistemas de IA y sus potencialidades para las empresas y los
ciudadanos, los riesgos de seguridad de la IA se han convertido en una
cuestión capital en lo relativo a la ciberseguridad.
Así como la
Inteligencia Artificial es clave para diseñar y ejecutar los servicios de
ciberseguridad, estos son cruciales a la hora de acometer la protección de los
sistemas y aplicaciones de IA, en un momento en el que:
- Los ciberdelincuentes comienzan a situar a
la IA en sus dianas.
- Los riesgos vinculados a la cadena de
suministro son cada vez más elevados.
Datos, modelos, ciberataques… Los riesgos de seguridad de la IA
Si hay un elemento
fundamental en lo que respecta a las IA, sobre todo a los sistemas de Machine
Learning y Deep Learning son los datos. Puesto que estos sistemas funcionan
gracias a modelos que deben entrenarse con datos. Si los datos son numerosos,
variados, no presentan sesgos y no han sido manipulados, el modelo podrá
funcionar de forma óptima y presentar un alto rendimiento. Por el contrario, si
los datos empleados para entrenar a los modelos han sido corrompidos, este
presentará un comportamiento manipulado que puede tener consecuencias graves
para las compañías y los usuarios.
Partiendo de esta
base, debemos señalar que, a la hora de abordar los riesgos de
seguridad de la IA, hay que diferenciar entre:
- Las amenazas dirigidas a los sistemas de
IA. Es decir, los ataques en los que los propios sistemas de IA son el
target: los modelos, los datos…
- El uso malicioso de herramientas de IA
para poner en marcha ciberataques contra software y sistemas empresariales
o contra particulares.
Riesgos que se ciernen sobre los sistemas de IA
El proyecto puesto en
marcha por OWASP para evaluar los principales riesgos de seguridad y privacidad
a los que se enfrenta la Inteligencia Artificial señala diversos peligros y
presta especial atención a los posibles ataques contra los modelos de IA.
Riesgos de seguridad de datos
El pipeline de
la Inteligencia Artificial debe ser considerado como una nueva superficie de
ataque, puesto que se encuentra más allá del ámbito tradicional del desarrollo
de software. ¿Por qué? Incorpora la ciencia de datos.
Tanto la ingeniería de
datos como la ingeniería de modelos son absolutamente esenciales para el
desarrollo de sistemas de IA. Y ambas disciplinas requieren de
controles de seguridad lo suficientemente robustos como para evitar
fugas o envenenamiento de datos, robo de propiedad intelectual o ataques de
cadena de suministro.
Por otro lado, hay que
tener en cuenta el riesgo vinculado al uso de datos durante el desarrollo de
una IA. Para entrenar y testear un modelo, los científicos de datos necesitan
trabajar con datos reales, que podrían llegar a ser sensibles. De ahí que se
deba establecer un mecanismo de control de acceso riguroso, en el que los
científicos solo puedan acceder a la información que necesitan para realizar su
trabajo.
Ataques contra modelos de IA
Como señalamos antes,
los ataques contra el modelo de una IA son uno de los elementos clave a la hora
de abordar la ciberseguridad de la Inteligencia Artificial. Estos
ataques de alto riesgo se pueden prevenir:
- Protegiendo el proceso de desarrollo de la
IA.
- Ocultando los parámetros del modelo.
- Limitando el acceso a este.
- Implementando un sistema de monitorización
para detectar inputs maliciosos.
- Teniendo en cuenta esta clase de ataques
durante la fase de entrenamiento del modelo.
De tal forma que es
necesario conjugar conocimientos en ciberseguridad con formación en Machine
Learning. Asimismo, también se pueden poner en marcha medidas clásicas de la
ciberseguridad, como aplicar el principio de mínimo privilegio.
Tipologías de ataque
OWASP recopila los
siguientes tipos de ataque contra modelos de IA:
- Envenenamiento de los datos. Si se cambian los datos de
entrenamiento, el comportamiento del modelo puede ser manipulado. Lo que
permite sabotear el sistema de IA o conseguir que tome las decisiones que
el atacante desea.
- Manipulación de los inputs. Este ataque busca manipular a los
modelos con datos de entrada engañosos. La inyección de prompts es el
ejemplo paradigmático de este tipo de ataque.
- Inferencia de pertenencia. A través de un registro de datos y un
acceso de caja negra al modelo se puede determinar si un registro estaba
en el grupo de datos de entrenamiento. Esto implica que los actores
hostiles puedan saber si una persona padece una determinada enfermedad, forma
parte de un partido político o está inscrita en una organización concreta.
- Inversión del modelo o reconstrucción de
los datos. Mediante la
interacción con un modelo se estiman sus datos de entrenamiento. Si dichos
datos son sensibles, se puede ver menoscabada la privacidad.
- Robo de modelos. Al interactuar con un modelo se puede
llegar a determinar su comportamiento y copiarlo para entrenar a otro
modelo, lo que supone un robo de propiedad intelectual.
- Ataque de cadena de suministro del modelo. Mediante estos ataques se puede
manipular el ciclo de vida de un modelo, por ejemplo, contaminando un
modelo base que se ha hecho público y logrando corromper a los modelos de
Deep Learning que utilicen el aprendizaje por transferencia para afinar
ese modelo.
Mantenibilidad del código de IA
Los científicos de
datos están centrados en producir modelos de trabajo y no tanto en crear código
que sea fácil de leer por otros profesionales. Todo ello dificulta los análisis
de código de IA y la detección de fallos o la gestión
de vulnerabilidades. De ahí que sea fundamental combinar los conocimientos
de los científicos de datos con la formación y experiencia de los ingenieros de
software y los expertos en ciberseguridad.
Complejidad de la cadena de suministro de la IA
La Inteligencia
Artificial hace más compleja la cadena de suministro de software. En primer
lugar, porque los sistemas de IA suelen tener varias cadenas de suministro (de
datos, de modelos…) y las fuentes de procedencia pueden ser paralelas o
secuenciales. Si a esto le unimos la relevancia de los ataques contra los
modelos y el hecho de que el comportamiento de estos no se puede evaluar
mediante análisis estáticos, nos encontramos ante un riesgo de gran relevancia.
Por ello, la
tradicional lista de materiales de software (SBOM), debe complementarse con la
lista de materiales de IA (AIBOM), a la vez que se toman las medidas
necesarias para auditar la seguridad de los proveedores. La gestión de la
cadena de suministro de IA se convierte así en un aspecto esencial para su
seguridad.
Reutilización de código externo de Inteligencia Artificial
Al igual que sucede en
el desarrollo de software tradicional, los científicos de datos pueden
beneficiarse de código abierto, si bien este puede contener debilidades y
vulnerabilidades que afecten a la seguridad y la privacidad. Por ello, es
fundamental que se lleve a cabo un control exhaustivo del código reutilizado.
Ciberataques con IA y optimización de las capacidades de los delincuentes
Además de todos los
ataques dirigidos contra los sistemas de IA, esta tecnología disruptiva puede
ser empleada por los delincuentes para optimizar sus capacidades de ataque. Es
decir, los riesgos de seguridad de la IA no solo incluyen las amenazas
contra los sistemas. También incorporan la utilización de las Inteligencias
Artificiales como herramientas al servicio de los ciberdelincuentes.
En su informe sobre
Inteligencia Artificial y ciberseguridad, ENISA pone como ejemplo de
ciberataques sofisticados el uso de IA generativa maliciosa para generar deep
fakes, manipulando información, voces, imágenes, videos e, incluso, caras.
Pero también tenemos
que tener en cuenta ataques que requieren menos recursos y conocimientos. Por
ejemplo, usar las IA generativas para crear textos persuasivos con los que
atacar a personas, empresas e instituciones a través de técnicas de Ingeniería
Social: phishing, smishing, spear-phishing… O recurrir a las IA para
decidir qué vulnerabilidades son más fácilmente explotables para atacar a los
sistemas corporativos de una organización.
Asimismo, los sistemas
de IA pueden ser empleados para optimizar la eficiencia y eficacia del malware
empleado por grupos de ciberdelincuentes en diversos aspectos clave: evasión de
los mecanismos de detección, adaptación a entornos cambiantes, propagación,
persistencia en los sistemas atacados…
Es más, el malware
basado en IA puede emplear técnicas de aprendizaje y mejorar su eficacia por sí
mismos, ejecutando ataques más exitosos.
Así como los sistemas
de IA están en plena expansión, los ciberataques desarrollados a partir de las
potencialidades de esta tecnología también están evolucionando a marchas
forzadas. De tal forma que, en los próximos años, se volverán más sofisticados
y su potencial impacto en las empresas y los ciudadanos será mayor. Por ello,
deben reforzarse las estrategias de ciberseguridad, teniendo en cuenta este
nuevo abanico de ataques.
Tipos de actores que buscan explotar los riesgos de seguridad de la IA
¿Cuáles son los
actores que pueden intentar explotar vulnerabilidades de las IA para cumplir
sus objetivos delictivos? ENISA ha categorizado a los actores maliciosos en
siete tipologías con características y objetivos diversos:
Ciberdelincuentes
- Cibercriminales. Los grupos de ciberdelincuentes tienen
un objetivo claro: lucrarse. Para conseguir beneficios económicos de su
actividad delictiva, pueden, o bien servirse de los sistemas de IA como
herramientas para realizar ataques, o bien atacar directamente a estos
sistemas. Por ejemplo, pirateando chatbots con IA para acceder a
información sensible como los datos bancarios de los clientes de una
compañía.
- Script kiddies. Esta clase de ciberdelincuentes carece
de los conocimientos necesarios para poner en marcha ataques concierto
nivel de complejidad y diseñar sus propios software maliciosos, así que se
sirven de herramientas de ataque paquetizadas y scripts pre-escritos para
poder atacar a sistemas corporativos.
Actores que amenazan el sistema social y económico
- Actores gubernamentales y grupos
esponsorizados por los estados. Pensemos, por ejemplo, en grupos APT esponsorizados por países.
Estos grupos disponen de una gran cantidad de recursos y una amplia
experiencia, lo que les permite desarrollar ataques más sofisticados y
complejos. Sus objetivos pueden ir desde atacar sectores e
infraestructuras críticas de un país, hasta desestabilizar su sistema
democrático alterando elecciones y sembrando desinformación, pasando por
el robo de información confidencial de compañías y administraciones
públicas.
- Terroristas. Los ciberterroristas buscan causar un
daño directo en la vida de las personas, llegando a provocar muertes, por
ejemplo, a través de sabotajes a infraestructuras cruciales o sectores tan
sensibles como el de la salud. El terrorismo ha sido una lacra constante
en lo que va de S. XXI y, ahora, ya no solo es un problema de seguridad,
sino también de ciberseguridad.
El fuego amigo y la competencia
- Trabajadores y proveedores de las
compañías. Las personas
con acceso a elementos críticos de las IA como los modelos o los conjuntos
de datos pueden sabotear los sistemas de forma intencionada, por ejemplo,
envenenando los datos de entrenamiento. Pero, además, también pueden
provocar incidentes de seguridad de forma involuntaria, corrompiendo los
datos accidentalmente.
- Empresas rivales. La competencia es cada vez mayor en el
sector de la tecnología en general y en lo que respecta a la Inteligencia
Artificial en particular, por ello, es posible que se produzcan ataques
provenientes de empresas rivales que buscan robar propiedad intelectual o
menoscabar la reputación de las compañías que desarrollan o emplean
sistemas de IA.
Hacktivistas
Este concepto mezcla
el hackeo con el activismo para referirse a los actores hostiles cuya
motivación es, esencialmente, ideológica y que buscan hackear los sistemas de
IA para evidenciar sus vulnerabilidades y riesgos.
El auge de la
Inteligencia Artificial y el protagonismo acaparado por la IA generativa en los
últimos tiempos ha acentuado la aparición de voces que alertan sobre los
peligros de la IA, no solo a nivel de ciberseguridad.
¿En qué se diferencian los riesgos de la IA de los riesgos tradicionales del software?
Los sistemas de
Inteligencia Artificial son software, pero con ciertas particularidades que lo
vuelven más complejo y amplían la superficie de ataque del software
tradicional.
Por eso, el framework
para gestionar los riesgos de la Inteligencia Artificial desarrollado por NIST
recopila algunos de los riesgos nuevos asociados al auge de la IA. El NIST
también detalla otras amenazas que ya existían en lo relativo al software que empleamos
diariamente, pero que se han visto agravadas.
Algunos de estos
riesgos no están relacionados directamente con la ciberseguridad. Por ejemplo,
los costes computacionales del desarrollo de IA, la complejidad de las tareas
de mantenimiento, o el impacto de estas tecnologías en el medio ambiente.
Sin embargo, el
framework sí recoge riesgos relacionadas con la seguridad de los sistemas, las
organizaciones y los usuarios.
Nuevos y más complejos desafíos en materia de ciberseguridad
- Los datos empleados en la construcción del
sistema de Inteligencia Artificial pueden no representar de forma
fidedigna el contexto o el uso previsto del sistema y la calidad de los
datos puede repercutir en la fiabilidad de la IA, con las consecuencias negativas
que ello conllevaría.
- La dependencia de los sistemas de IA de
los datos que se usan para su entrenamiento.
- Las modificaciones producidas durante la
fase de entrenamiento, sean o no intencionadas, pueden alterar el
rendimiento del sistema de IA.
- Los conjuntos de datos que se usan durante
el entrenamiento de una IA pueden quedar obsoletos en el momento de
despliegue del sistema, lo que afectaría a los resultados de la IA.
- La descompensación existente entre la
escala y la complejidad de los sistemas de IA y las aplicaciones de
software convencionales que los alojan.
- Los modelos pre-entrenados son claves para
facilitar la investigación en IA y desarrollar sistemas con alto
rendimiento en menos tiempo y con menos costes. Sin embargo, también pueden
incrementar los niveles de incertidumbre estadística y causar
problemas de sesgos y reproductibilidad.
- Múltiples riesgos de privacidad, como
consecuencia de la enorme capacidad de agregación de datos de los sistemas
de IA.
- Resulta más difícil realizar pruebas de
seguridad de software basadas en IA, puesto que el desarrollo de código de las IA no es igual que el
desarrollo de código tradicional y pueden surgir dudas sobre qué y como se
debe testear.
Poner en marcha una estrategia de seguridad para los sistemas de IA
Los riesgos de
seguridad específicos de los sistemas de IA hacen necesario que las
organizaciones pongan en marcha estrategias para gestionar los riesgos de
ciberseguridad y privacidad en todas las fases del ciclo de vida de la IA:
diseño, desarrollo, despliegue, evaluación y uso.
En este sentido, los
servicios de ciberseguridad deben incorporarse al programa de seguridad de las
compañías. Modelado de amenazas, análisis de riesgo, capacitación de los
profesionales, análisis estáticos y dinámicos, análisis del código, pentesting,
ejercicios de Red Team…
De esta forma se podrá
fortalecer la seguridad, la resiliencia y la privacidad de los sistemas de IA
para lograr:
- Securizar las aplicaciones y la
infraestructura IT,
escondiendo los parámetros del modelo, para protegerlo frente a los
ataques.
- Fortalecer la protección de los nuevos
pipelines de desarrollo ligados a la IA.
- Gestionar de forma adecuada los problemas
de sesgos en los sistemas de IA.
- Afrontar los riesgos asociados a la IA
generativa.
- Hacer frente a los problemas de seguridad
vinculados a la evasión, extracción de modelos, disponibilidad de los
sistemas y la puesta en marcha de ataques de Machine Learning.
- Analizar y monitorear monitorizar la
compleja superficie de ataque de los sistemas de IA para detectar ataques en fases
tempranas de la Cyber Kill Chain y comportamientos anómalos.
- Tener en consideración los riesgos
vinculados a las tecnologías de IA desarrolladas por terceros.
La investigación en
Inteligencia Artificial está en pleno apogeo. Las innovaciones tecnológicas que
se producen en este ámbito, pero también en el desarrollo software, deben
servir para fortalecer la fiabilidad y rendimiento de los sistemas. También, su
seguridad y resiliencia frente a las acciones de los actores hostiles.
La seguridad de la IA, una cuestión capital en esta era
La incorporación de la
Inteligencia Artificial a los diversos sectores productivos y la
democratización del acceso a la IA, con herramientas al alcance de las pymes y
no solo de las grandes compañías, supone un nuevo hito en la revolución
tecnológica que hemos experimentado en las últimas décadas.
Por eso mismo, los
riesgos de seguridad de la IA deben situarse en el centro del debate público y
en el corazón de las estrategias empresariales.
Los ataques exitosos
contra sistemas de IA pueden generar repercusiones catastróficas para las
compañías que los desarrollan, pero también para las empresas que los usan y el
conjunto de la ciudadanía: exfiltración de datos privados, desinformación, pérdida
reputacional, consecuencias legales…
De ahí que sea
fundamental abordar la seguridad de la IA a lo largo de todo su ciclo de vida,
implementando controles de seguridad eficaces y realizando evaluaciones de
seguridad continuas.
Security-by-design y a lo largo de todo el ciclo de vida
Como señala la guía de
ENISA sobre IA y ciberseguridad, el concepto security-by-design,
ampliamente extendido en el ámbito del desarrollo de software, debe trasladarse
al terreno de la IA.
¿Cómo? Integrando
controles, mecanismos y buenas prácticas de ciberseguridad en
las primeras fases del diseño y desarrollo de los sistemas de IA y de las
aplicaciones e infraestructuras IT que los soportan. Así, la agencia de la UE
recomienda:
- Llevar a cabo de forma continua pruebas de
seguridad y realizar modelados de amenazas para identificar
vulnerabilidades, fallos y vectores de ataque.
- Apostar por prácticas de codificación
segura y realizar auditorías de código fuente para detectar errores y
vulnerabilidades.
- Implementar prácticas seguras en lo que
respecta al tratamiento de datos, para garantizar la confidencialidad y
evitar la corrupción o extracción de los datos.
- Ejecutar pruebas de seguridad en el
proceso de desarrollo que
sirvan para identificar problemas de seguridad en fases tempranas. Test
como DAST son esenciales para gestionar el riesgo dinámico de
ciberseguridad y poder priorizar las amenazas.
- Asegurarse de que los sistemas de IA son
diseñados de forma transparente y su comportamiento puede ser auditado de
forma continua para detectar comportamientos anómalos y corregirlos antes
de que provoquen incidentes de seguridad.
En definitiva, los
riesgos de seguridad de la IA deben acometerse con la máxima eficiencia y
rigurosidad. Aplicando con criterio todo el caudal de conocimientos, buenas
prácticas, pruebas y metodologías diseñados por los profesionales de la
ciberseguridad en las últimas décadas.
Para ello, es
fundamental introducir controles de seguridad desde la primera fase del ciclo
de vida de un sistema de IA, disponer de equipos multidisciplinares y llevar a
cabo un monitoreo exhaustivo de la cadena de suministro de IA.
La IA es esencial
para optimizar los servicios de ciberseguridad. Y la ciberseguridad es el mejor escudo del
que disponemos para proteger a esta tecnología frente a los actores hostiles.
No hay comentarios.:
Publicar un comentario