Las compañías que desarrollan sistemas de IA y las que contratan aplicaciones de terceros deben tener en cuenta los riesgos de usar IA generativa en las empresas
2023 fue el año en que la IA generativa se convirtió en mainstream.
Miles de empresas y profesionales comenzaron a usar herramientas como ChatGPT, Bing AI, o Copy.ai para agilizar numerosas actividades diarias. La generalización del uso de esta tecnología clave de nuestro tiempo sacó a la luz los riesgos de usar IA generativa en las empresas, como puede ser la exfiltración de información de negocio o el robo de propiedad intelectual e industrial.
Si bien la Inteligencia Artificial abre un gran abanico de oportunidades a la hora de fortalecer la postura de ciberseguridad de las compañías, también trae consigo una serie de riesgos, como puede ser el uso de las IA generativas para perfeccionar campañas de ingeniería social o automatizar ataques de malware.
A todo ello debemos sumar los riesgos de usar IA generativa en las empresas de manera legítima, pero insegura. ¿Cómo? Por ejemplo, empleando una herramienta como ChatGPT para comprobar que el código fuente de una aplicación no presenta errores, como le sucedió a Samsung, una de las grandes compañías globales en el desarrollo de tecnología.
Como consecuencia de esta práctica insegura, el código pasó a formar parte de los datos de entrenamiento del sistema de IA y a almacenarse en los servidores de la compañía que lo ha desarrollado, OpenAI.
¿Qué sucedería si un actor malicioso lanzara un ataque exitoso contra ChatGPT o contra los servidores de OpenAI? Samsung limitó de manera inmediata el uso de estos sistemas para que la realidad no respondiera a esta pregunta en forma de incidente de seguridad.
A continuación, vamos a abordar algunos de los riesgos de usar IA generativa en las empresas, así como el papel que juega la ciberseguridad a la hora de permitir a las compañías sacarle partido a esta tecnología de manera segura.
Las consecuencias de los ataques contra los modelos de Inteligencia Artificial
Los ataques de cadena de suministro de software se han convertido en una de las tendencias más preocupantes en materia de ciberseguridad. Y lo mismo puede decirse de los riesgos de seguridad de la IA, que incluyen tanto las acciones maliciosas contra estos sistemas, como el uso de aplicaciones de IA para optimizar las técnicas, tácticas y procedimientos de los delincuentes.
Atacar a modelos de IA empleados por cientos de empresas hibrida ambas amenazas. De tal forma que los ataques contra los sistemas de Inteligencia Artificial no solo pueden afectar a las compañías que los desarrollan, sino también a aquellas que usan modelos de terceros.
Revelación de secretos y propiedad intelectual
¿Por qué es peligroso introducir secretos empresariales e información ligada a la propiedad intelectual e industrial de una empresa a través de un prompt en un sistema de IA?
Los actores maliciosos pueden poner en marcha ataques como:
- Inferencia de pertenencia. Los delincuentes realizan un registro de datos y un acceso de caja negra al modelo atacado, con el objetivo de conocer si un registro concreto formaba parte del grupo de datos de entrenamiento del modelo o no. Mediante esta tipología de ataque se puede obtener información confidencial y especialmente sensible sobre las empresas y los ciudadanos.
- Inversión del modelo o reconstrucción de los datos. Uno de los ataques más sofisticados contra modelos de IA consiste en la inversión de los propios modelos. ¿Cómo? A través de la interacción con el modelo, los actores maliciosos pueden estimar sus datos de entrenamiento y, así, vulnerar la confidencialidad y privacidad de la información.
El coste económico y la pérdida de ventaja competitiva asociados a la sustracción de propiedad intelectual son muy elevados y pueden dañar seriamente a la posición de una compañía en el mercado.
Exfiltración de datos empresariales e información sobre los clientes
Otro de los grandes riesgos de usar IA generativa en las empresas es la posibilidad de que los actores maliciosos obtengan datos confidenciales sobre las propias compañías o sobre sus clientes, trabajadores o socios.
Al igual que sucede con la propiedad intelectual e industrial, si se ejecutan prompts que contienen datos sobre clientes o sobre cuestiones estratégicas de las empresas en una aplicación de IA, los delincuentes pueden realizar ataques de inferencia de pertenencia o inversión del modelo para conseguir la información.
Asimismo, debemos tener en cuenta que, tanto en lo relativo al robo de propiedad intelectual, como en lo que respecta a la exfiltración de información confidencial, existe la posibilidad de atacar a los servidores en los que se almacenan los datos de los sistemas de IA.
Comisión de errores por el funcionamiento anómalo de los sistemas de IA
Desde que ChatGPT se convirtió en una herramienta popular en el seno de la opinión pública, no pocas personas han intentado probar los límites de las IA generativas, para encontrar, por ejemplo, fallos en su razonamiento lógico.
En algunos casos más extremos, los usuarios han detectado comportamientos anómalos de sistemas como Bing AI, hasta el punto de que la IA afirmaba haber espiado a los trabajadores de Microsoft a través de las webcams de sus portátiles.
A estas incidencias debemos sumar las consecuencias de ataques contra los modelos que buscan menoscabar su funcionamiento:
- Envenenamiento de datos. Los atacantes sabotean un sistema de IA modificando los datos que emplea para entrenarse.
- Manipulación de los inputs. Otra clase de ataque que se puede poner en marcha contra un modelo de IA consiste en la manipulación de los datos de entrada del sistema. ¿Cómo? A través de la inyección de prompts.
- Ataque de cadena de suministro, corrompiendo un modelo base que es empleado por otros sistemas de IA para llevar a cabo un aprendizaje por transferencia.
Problemas legales relacionados con la protección de datos
Desde la aprobación del Reglamento General de Protección de Datos (RGPD), en la Unión Europea existe una normativa garantista en lo que respecta a la protección de la privacidad de los datos de las personas.
Si una empresa revela información sobre sus clientes, trabajadores, proveedores o socios comerciales a una IA generativa propiedad de otra empresa puede estar vulnerando la normativa en vigor.
Además, si un modelo de IA es atacado con éxito, puede provocar la exfiltración de datos privados, lo que puede acarrear consecuencias legales, multas por infringir las normas europeas y dañar la credibilidad de la compañía cuyos profesionales facilitaron información privada a la IA atacada.
¿Qué están haciendo las compañías para mitigar los riesgos de usar IA generativas en las empresas?
Tras hacerse público que hasta tres trabajadores de Samsung habían revelado propiedad intelectual patentada a ChatGPT, así como datos empresariales confidenciales, numerosas compañías actuaron de manera inmediata para limitar o prohibir el uso de IA desarrolladas y gestionadas por terceros, a la vez que aceleraron el diseño de modelos propios.
Limitar o prohibir el uso de Inteligencias Artificiales
Grandes compañías tecnológicas como Apple o Amazon, entidades financieras globales como JPMorgan, Goldman Sachs o Deutsche Bank, empresas de telecomunicaciones como Verizon, y organizaciones del sector del retail como Walmart implementaron el año pasado protocolos para limitar el uso de IA generativas por parte de sus empleados.
El objetivo de estas políticas internas es mitigar los riesgos de usar IA generativas en las empresas por la vía rápida. Es decir, a través de la restricción y no mediante la formación y la concienciación sobre los riesgos de usar IA generativas en las empresas de manera inadecuada.
En este sentido, las grandes compañías mundiales siguen la senda trazada por muchas instituciones educativas de optar por prohibir el uso de aplicaciones basadas en modelos de lenguaje natural para evitar que los alumnos las empleasen, por ejemplo, para elaborar trabajos.
Desarrollar modelos de lenguaje propios
A su vez, las empresas de mayor tamaño y con un nivel de desarrollo tecnológico más elevado han apostado por diseñar sus propios sistemas de IA para uso interno.
En estos casos, ¿la información confidencial que se introduce en la aplicación de IA está 100% segura? Como resulta evidente, estos datos estarán protegidos en la misma manera en que lo esté el propio sistema de IA. De hecho, las empresas deben pasar a considerar la arquitectura de la IA como una nueva superficie de ataque y poner en marcha controles de seguridad específicos para proteger los datos de los modelos de lenguaje.
¿Cuáles son los aspectos esenciales que tienen que tener en cuenta las empresas que desarrollan sus propios sistemas de IA?
- Resulta fundamental auditar el código de la IA para detectar errores o vulnerabilidades presentes en él y proceder a mitigarlos, así como implementar prácticas de desarrollo seguras.
- Securizar la cadena de suministro de la IA:
- Realizar un control exhaustivo de todas las cadenas de suministro de una IA (datos, modelos…).
- Confeccionar y actualizar una lista de materiales de software (SBOM) en la que se incluyan los componentes, dependencias y datos de las aplicaciones de IA.
- Auditar a los proveedores tecnológicos.
Servicios de ciberseguridad para minimizar los riesgos de usar IA generativa en las empresas
A la luz de los riesgos de usar IA generativa en las empresas que hemos ido desgranando, muchos directivos y profesionales se estarán preguntando: ¿Qué podemos hacer para protegernos frente a los ciberataques contra los modelos de IA y reducir los riesgos de usar IA generativa en las empresas?
Tanto las empresas que desarrollan IA como aquellas que usan sistemas diseñados por terceros deben adaptar sus estrategias de seguridad para incluir estas amenazas y disponer de servicios de ciberseguridad integrales que les permitan prevenir los riesgos, detectar las amenazas y responder ante los ataques.
Desde el desarrollo seguro hasta la respuesta a incidentes
- Realizar un desarrollo seguro de los sistemas de IA desde el diseño y a lo largo de su ciclo de vida. ¿Cómo?
- Efectuando modelados de amenazas.
- Implementando prácticas de codificación seguras.
- Realizando auditorías de código fuente.
- Llevando a cabo de manera continua pruebas de seguridad como DAST, SCA o SCS.
- Asegurarse de que las IA son capaces de detectar ataques y rechazar ejecuciones del prompt. Por ejemplo, mediante un ataque se ha podido demostrar que es posible inducir comportamientos no deseados en aplicaciones como ChatGPT o Gemini. ¿Cómo? Usando ASCII art para introducir en los modelos prompts que no se pueden interpretar solo semánticamente. ¿Cómo se puede evitar? Realizando fine-tuning y formando a agentes para que detecten este tipo de prácticas hostiles.
- Gestionar las vulnerabilidades y detectar las vulnerabilidades emergentes para mitigar los riesgos antes de que se produzca un ataque, incluyendo las cadenas de suministro de las IA.
- Diseñar y ejecutar escenarios de Red Team específicos sobre ataques contra sistemas de IA.
- Disponer de un servicio de respuesta a incidentes proactivo que pueda actuar con la máxima celeridad para contener un ataque.
- Implementar programas de formación y concienciación sobre el uso de la IA generativa con fines profesionales y empresariales para que los trabajadores puedan emplear esta tecnología sin exponer información crítica.
En definitiva, la Inteligencia Artificial ya es esencial en el día a día de numerosas compañías. Los riesgos de usar IA generativa en las empresas son evidentes, pero pueden afrontarse con éxito diseñando una estrategia de ciberseguridad integral que permita detectarlos y mitigarlos para que las compañías puedan beneficiarse de las ventajas de esta tecnología disruptiva de manera segura.
