Las compañías que desarrollan sistemas de IA y las que contratan aplicaciones de terceros deben tener en cuenta los riesgos de usar IA generativa en las empresas
2023 fue el año en que
la IA generativa se convirtió en mainstream. Miles de empresas y profesionales
comenzaron a usar herramientas como ChatGPT, Bing AI, o Copy.ai para agilizar
numerosas actividades diarias. La generalización del uso de esta tecnología
clave de nuestro tiempo sacó a la luz los riesgos de usar IA generativa
en las empresas, como puede ser la exfiltración de información de negocio o
el robo de propiedad intelectual e industrial.
Si bien la
Inteligencia Artificial abre un gran abanico de oportunidades a la hora
de fortalecer la postura de ciberseguridad de las compañías,
también trae consigo una serie de riesgos, como puede ser el uso de las IA
generativas para perfeccionar campañas de ingeniería social o automatizar
ataques de malware.
A todo ello debemos
sumar los riesgos de usar IA generativa en las empresas de manera
legítima, pero insegura. ¿Cómo? Por ejemplo, empleando una herramienta como
ChatGPT para comprobar que el código fuente de una aplicación no presenta
errores, como le sucedió a Samsung, una de las grandes compañías globales en el
desarrollo de tecnología.
Como consecuencia de
esta práctica insegura, el código pasó a formar parte de los datos de
entrenamiento del sistema de IA y a almacenarse en los servidores de la
compañía que lo ha desarrollado, OpenAI.
¿Qué sucedería si un
actor malicioso lanzara un ataque exitoso contra ChatGPT o contra los
servidores de OpenAI? Samsung limitó de manera inmediata el uso de estos
sistemas para que la realidad no respondiera a esta pregunta en forma de incidente
de seguridad.
A continuación, vamos
a abordar algunos de los riesgos de usar IA generativa en las empresas,
así como el papel que juega la ciberseguridad a la hora de permitir a las
compañías sacarle partido a esta tecnología de manera segura.
1. Las
consecuencias de los ataques contra los modelos de Inteligencia Artificial
Los ataques de cadena de suministro de software se
han convertido en una de las tendencias más preocupantes en materia de
ciberseguridad. Y lo mismo puede decirse de los riesgos de seguridad de la IA, que incluyen tanto
las acciones maliciosas contra estos sistemas, como el uso de aplicaciones de
IA para optimizar las técnicas, tácticas y procedimientos de los delincuentes.
Atacar a modelos de IA
empleados por cientos de empresas hibrida ambas amenazas. De tal forma que
los ataques contra los sistemas de Inteligencia Artificial no
solo pueden afectar a las compañías que los desarrollan, sino también a
aquellas que usan modelos de terceros.
1.1. Revelación de
secretos y propiedad intelectual
¿Por qué es peligroso
introducir secretos empresariales e información ligada a la propiedad
intelectual e industrial de una empresa a través de un prompt en un
sistema de IA?
Los actores maliciosos
pueden poner en marcha ataques como:
- Inferencia de pertenencia. Los delincuentes realizan un registro de
datos y un acceso de caja negra al modelo atacado, con el objetivo de
conocer si un registro concreto formaba parte del grupo de datos de
entrenamiento del modelo o no. Mediante esta tipología de ataque se puede obtener
información confidencial y especialmente sensible sobre las empresas y
los ciudadanos.
- Inversión del modelo o reconstrucción de
los datos. Uno de los
ataques más sofisticados contra modelos de IA consiste en la inversión de
los propios modelos. ¿Cómo? A través de la interacción con el modelo, los
actores maliciosos pueden estimar sus datos de entrenamiento y, así, vulnerar
la confidencialidad y privacidad de la información.
El coste económico y
la pérdida de ventaja competitiva asociados a la sustracción de propiedad
intelectual son muy elevados y pueden dañar seriamente a la posición de
una compañía en el mercado.
1.2. Exfiltración
de datos empresariales e información sobre los clientes
Otro de los grandes riesgos
de usar IA generativa en las empresas es la posibilidad de que los
actores maliciosos obtengan datos confidenciales sobre las propias compañías o
sobre sus clientes, trabajadores o socios.
Al igual que sucede
con la propiedad intelectual e industrial, si se ejecutan prompts que contienen
datos sobre clientes o sobre cuestiones estratégicas de las empresas en una
aplicación de IA, los delincuentes pueden realizar ataques de
inferencia de pertenencia o inversión del modelo para conseguir la
información.
Asimismo, debemos
tener en cuenta que, tanto en lo relativo al robo de propiedad intelectual,
como en lo que respecta a la exfiltración de información confidencial, existe
la posibilidad de atacar a los servidores en los que se almacenan los
datos de los sistemas de IA.
1.3. Comisión de
errores por el funcionamiento anómalo de los sistemas de IA
Desde que ChatGPT se
convirtió en una herramienta popular en el seno de la opinión pública, no pocas
personas han intentado probar los límites de las IA generativas, para
encontrar, por ejemplo, fallos en su razonamiento lógico.
En algunos casos más
extremos, los usuarios han detectado comportamientos anómalos de sistemas
como Bing AI, hasta el punto de que la IA afirmaba haber espiado
a los trabajadores de Microsoft a través de las webcams de sus portátiles.
A estas incidencias
debemos sumar las consecuencias de ataques contra los modelos que
buscan menoscabar su funcionamiento:
- Envenenamiento de datos. Los atacantes sabotean un sistema de IA
modificando los datos que emplea para entrenarse.
- Manipulación de los inputs. Otra clase de ataque que se puede poner
en marcha contra un modelo de IA consiste en la manipulación de los datos
de entrada del sistema. ¿Cómo? A través de la inyección de prompts.
- Ataque de cadena de suministro, corrompiendo un modelo base que es
empleado por otros sistemas de IA para llevar a cabo un aprendizaje por
transferencia.
1.4. Problemas
legales relacionados con la protección de datos
Desde la aprobación
del Reglamento General de Protección de Datos (RGPD), en la Unión Europea existe una normativa garantista
en lo que respecta a la protección de la privacidad de los datos de
las personas.
Si una empresa revela
información sobre sus clientes, trabajadores, proveedores o socios comerciales
a una IA generativa propiedad de otra empresa puede estar vulnerando la
normativa en vigor.
Además, si un modelo
de IA es atacado con éxito, puede provocar la exfiltración de datos
privados, lo que puede acarrear consecuencias legales, multas por infringir
las normas europeas y dañar la credibilidad de la compañía cuyos profesionales
facilitaron información privada a la IA atacada.
2. ¿Qué están
haciendo las compañías para mitigar los riesgos de usar IA generativas en las
empresas?
Tras hacerse público
que hasta tres trabajadores de Samsung habían revelado propiedad intelectual
patentada a ChatGPT, así como datos empresariales confidenciales, numerosas
compañías actuaron de manera inmediata para limitar o prohibir el uso
de IA desarrolladas y gestionadas por terceros, a la vez que aceleraron el
diseño de modelos propios.
2.1. Limitar o
prohibir el uso de Inteligencias Artificiales
Grandes compañías
tecnológicas como Apple o Amazon, entidades financieras globales como
JPMorgan, Goldman Sachs o Deutsche Bank, empresas de telecomunicaciones como
Verizon, y organizaciones del sector del retail como Walmart implementaron el
año pasado protocolos para limitar el uso de IA generativas por parte de sus
empleados.
El objetivo de estas
políticas internas es mitigar los riesgos de usar IA generativas en las
empresas por la vía rápida. Es decir, a través de la restricción y no
mediante la formación y la concienciación sobre los riesgos de usar IA
generativas en las empresas de manera inadecuada.
En este sentido, las
grandes compañías mundiales siguen la senda trazada por muchas instituciones educativas de optar por prohibir el uso
de aplicaciones basadas en modelos de lenguaje natural para evitar que los
alumnos las empleasen, por ejemplo, para elaborar trabajos.
2.2. Desarrollar
modelos de lenguaje propios
A su vez, las empresas
de mayor tamaño y con un nivel de desarrollo tecnológico más elevado han apostado por diseñar sus propios sistemas
de IA para uso interno.
En estos casos, ¿la
información confidencial que se introduce en la aplicación de IA está 100%
segura? Como resulta evidente, estos datos estarán protegidos en la misma
manera en que lo esté el propio sistema de IA. De hecho, las empresas deben
pasar a considerar la arquitectura de la IA como una nueva superficie
de ataque y poner en marcha controles de seguridad específicos para
proteger los datos de los modelos de lenguaje.
¿Cuáles son los
aspectos esenciales que tienen que tener en cuenta las empresas que desarrollan
sus propios sistemas de IA?
- Resulta fundamental auditar el
código de la IA para detectar errores o vulnerabilidades
presentes en él y proceder a mitigarlos, así como implementar prácticas de
desarrollo seguras.
- Securizar la cadena de suministro de la IA:
- Realizar un control exhaustivo de todas
las cadenas de suministro de una IA (datos, modelos…).
- Confeccionar y actualizar una lista de
materiales de software (SBOM) en la que se incluyan los componentes,
dependencias y datos de las aplicaciones de IA.
- Auditar a los proveedores tecnológicos.
3. Servicios de
ciberseguridad para minimizar los riesgos de usar IA generativa en las empresas
A la luz de los riesgos
de usar IA generativa en las empresas que hemos ido desgranando,
muchos directivos y profesionales se estarán preguntando: ¿Qué podemos hacer
para protegernos frente a los ciberataques contra los modelos de IA y reducir
los riesgos de usar IA generativa en las empresas?
Tanto las empresas que
desarrollan IA como aquellas que usan sistemas diseñados por terceros deben
adaptar sus estrategias de seguridad para incluir estas
amenazas y disponer de servicios
de ciberseguridad integrales que les permitan prevenir los
riesgos, detectar las amenazas y responder ante los ataques.
3.1. Desde el
desarrollo seguro hasta la respuesta a incidentes
- Realizar un desarrollo seguro de
los sistemas de IA desde el diseño y a lo largo de su ciclo de
vida. ¿Cómo?
- Efectuando modelados de amenazas.
- Implementando prácticas de codificación
seguras.
- Realizando auditorías de código fuente.
- Llevando a cabo de manera continua
pruebas de seguridad como DAST, SCA o SCS.
- Asegurarse de que las IA son
capaces de detectar ataques y rechazar ejecuciones del prompt. Por
ejemplo, mediante un ataque se ha podido demostrar que es posible inducir
comportamientos no deseados en aplicaciones como ChatGPT o Gemini. ¿Cómo?
Usando ASCII
art para introducir en los modelos prompts que no se pueden
interpretar solo semánticamente. ¿Cómo se puede evitar? Realizando fine-tuning y formando
a agentes para que detecten este tipo de prácticas hostiles.
- Gestionar las vulnerabilidades y detectar
las vulnerabilidades emergentes para mitigar
los riesgos antes de que se produzca un ataque, incluyendo las cadenas de
suministro de las IA.
- Diseñar y ejecutar escenarios
de Red Team específicos sobre ataques contra
sistemas de IA.
- Disponer de un servicio
de respuesta a incidentes proactivo que pueda actuar con la
máxima celeridad para contener un ataque.
- Implementar programas de formación
y concienciación sobre el uso de la IA generativa con fines
profesionales y empresariales para que los trabajadores puedan emplear
esta tecnología sin exponer información crítica.
En definitiva, la
Inteligencia Artificial ya es esencial en el día a día de numerosas compañías.
Los riesgos de usar IA generativa en las empresas son
evidentes, pero pueden afrontarse con éxito diseñando una estrategia de
ciberseguridad integral que permita detectarlos y mitigarlos para que las
compañías puedan beneficiarse de las ventajas de esta tecnología
disruptiva de manera segura.