lunes, 25 de marzo de 2024

Los riesgos de usar IA generativa en las empresas: Protege tus secretos

Las compañías que desarrollan sistemas de IA y las que contratan aplicaciones de terceros deben tener en cuenta los riesgos de usar IA generativa en las empresas
2023 fue el año en que la IA generativa se convirtió en mainstream. 

Miles de empresas y profesionales comenzaron a usar herramientas como ChatGPT, Bing AI, o Copy.ai para agilizar numerosas actividades diarias. La generalización del uso de esta tecnología clave de nuestro tiempo sacó a la luz los riesgos de usar IA generativa en las empresas, como puede ser la exfiltración de información de negocio o el robo de propiedad intelectual e industrial.

Si bien la Inteligencia Artificial abre un gran abanico de oportunidades a la hora de fortalecer la postura de ciberseguridad de las compañías, también trae consigo una serie de riesgos, como puede ser el uso de las IA generativas para perfeccionar campañas de ingeniería social o automatizar ataques de malware.

A todo ello debemos sumar los riesgos de usar IA generativa en las empresas de manera legítima, pero insegura. ¿Cómo? Por ejemplo, empleando una herramienta como ChatGPT para comprobar que el código fuente de una aplicación no presenta errores, como le sucedió a Samsung, una de las grandes compañías globales en el desarrollo de tecnología.

Como consecuencia de esta práctica insegura, el código pasó a formar parte de los datos de entrenamiento del sistema de IA y a almacenarse en los servidores de la compañía que lo ha desarrollado, OpenAI.

¿Qué sucedería si un actor malicioso lanzara un ataque exitoso contra ChatGPT o contra los servidores de OpenAI? Samsung limitó de manera inmediata el uso de estos sistemas para que la realidad no respondiera a esta pregunta en forma de incidente de seguridad.

A continuación, vamos a abordar algunos de los riesgos de usar IA generativa en las empresas, así como el papel que juega la ciberseguridad a la hora de permitir a las compañías sacarle partido a esta tecnología de manera segura.

Las consecuencias de los ataques contra los modelos de Inteligencia Artificial

Los ataques de cadena de suministro de software se han convertido en una de las tendencias más preocupantes en materia de ciberseguridad. Y lo mismo puede decirse de los riesgos de seguridad de la IA, que incluyen tanto las acciones maliciosas contra estos sistemas, como el uso de aplicaciones de IA para optimizar las técnicas, tácticas y procedimientos de los delincuentes.
Atacar a modelos de IA empleados por cientos de empresas hibrida ambas amenazas. De tal forma que los ataques contra los sistemas de Inteligencia Artificial no solo pueden afectar a las compañías que los desarrollan, sino también a aquellas que usan modelos de terceros.

Revelación de secretos y propiedad intelectual

¿Por qué es peligroso introducir secretos empresariales e información ligada a la propiedad intelectual e industrial de una empresa a través de un prompt en un sistema de IA?

Los actores maliciosos pueden poner en marcha ataques como:
  • Inferencia de pertenencia. Los delincuentes realizan un registro de datos y un acceso de caja negra al modelo atacado, con el objetivo de conocer si un registro concreto formaba parte del grupo de datos de entrenamiento del modelo o no. Mediante esta tipología de ataque se puede obtener información confidencial y especialmente sensible sobre las empresas y los ciudadanos.
  • Inversión del modelo o reconstrucción de los datos. Uno de los ataques más sofisticados contra modelos de IA consiste en la inversión de los propios modelos. ¿Cómo? A través de la interacción con el modelo, los actores maliciosos pueden estimar sus datos de entrenamiento y, así, vulnerar la confidencialidad y privacidad de la información.
El coste económico y la pérdida de ventaja competitiva asociados a la sustracción de propiedad intelectual son muy elevados y pueden dañar seriamente a la posición de una compañía en el mercado.

Exfiltración de datos empresariales e información sobre los clientes

Otro de los grandes riesgos de usar IA generativa en las empresas es la posibilidad de que los actores maliciosos obtengan datos confidenciales sobre las propias compañías o sobre sus clientes, trabajadores o socios.

Al igual que sucede con la propiedad intelectual e industrial, si se ejecutan prompts que contienen datos sobre clientes o sobre cuestiones estratégicas de las empresas en una aplicación de IA, los delincuentes pueden realizar ataques de inferencia de pertenencia o inversión del modelo para conseguir la información.

Asimismo, debemos tener en cuenta que, tanto en lo relativo al robo de propiedad intelectual, como en lo que respecta a la exfiltración de información confidencial, existe la posibilidad de atacar a los servidores en los que se almacenan los datos de los sistemas de IA.


Comisión de errores por el funcionamiento anómalo de los sistemas de IA

Desde que ChatGPT se convirtió en una herramienta popular en el seno de la opinión pública, no pocas personas han intentado probar los límites de las IA generativas, para encontrar, por ejemplo, fallos en su razonamiento lógico.

En algunos casos más extremos, los usuarios han detectado comportamientos anómalos de sistemas como Bing AI, hasta el punto de que la IA afirmaba haber espiado a los trabajadores de Microsoft a través de las webcams de sus portátiles.

A estas incidencias debemos sumar las consecuencias de ataques contra los modelos que buscan menoscabar su funcionamiento:
  • Envenenamiento de datos. Los atacantes sabotean un sistema de IA modificando los datos que emplea para entrenarse.
  • Manipulación de los inputs. Otra clase de ataque que se puede poner en marcha contra un modelo de IA consiste en la manipulación de los datos de entrada del sistema. ¿Cómo? A través de la inyección de prompts.
  • Ataque de cadena de suministro, corrompiendo un modelo base que es empleado por otros sistemas de IA para llevar a cabo un aprendizaje por transferencia.

Problemas legales relacionados con la protección de datos

Desde la aprobación del Reglamento General de Protección de Datos (RGPD), en la Unión Europea existe una normativa garantista en lo que respecta a la protección de la privacidad de los datos de las personas.

Si una empresa revela información sobre sus clientes, trabajadores, proveedores o socios comerciales a una IA generativa propiedad de otra empresa puede estar vulnerando la normativa en vigor.

Además, si un modelo de IA es atacado con éxito, puede provocar la exfiltración de datos privados, lo que puede acarrear consecuencias legales, multas por infringir las normas europeas y dañar la credibilidad de la compañía cuyos profesionales facilitaron información privada a la IA atacada.

¿Qué están haciendo las compañías para mitigar los riesgos de usar IA generativas en las empresas?

Tras hacerse público que hasta tres trabajadores de Samsung habían revelado propiedad intelectual patentada a ChatGPT, así como datos empresariales confidenciales, numerosas compañías actuaron de manera inmediata para limitar o prohibir el uso de IA desarrolladas y gestionadas por terceros, a la vez que aceleraron el diseño de modelos propios.

Limitar o prohibir el uso de Inteligencias Artificiales

Grandes compañías tecnológicas como Apple o Amazon, entidades financieras globales como JPMorgan, Goldman Sachs o Deutsche Bank, empresas de telecomunicaciones como Verizon, y organizaciones del sector del retail como Walmart implementaron el año pasado protocolos para limitar el uso de IA generativas por parte de sus empleados.

El objetivo de estas políticas internas es mitigar los riesgos de usar IA generativas en las empresas por la vía rápida. Es decir, a través de la restricción y no mediante la formación y la concienciación sobre los riesgos de usar IA generativas en las empresas de manera inadecuada.

En este sentido, las grandes compañías mundiales siguen la senda trazada por muchas instituciones educativas de optar por prohibir el uso de aplicaciones basadas en modelos de lenguaje natural para evitar que los alumnos las empleasen, por ejemplo, para elaborar trabajos.


Desarrollar modelos de lenguaje propios

A su vez, las empresas de mayor tamaño y con un nivel de desarrollo tecnológico más elevado han apostado por diseñar sus propios sistemas de IA para uso interno.

En estos casos, ¿la información confidencial que se introduce en la aplicación de IA está 100% segura? Como resulta evidente, estos datos estarán protegidos en la misma manera en que lo esté el propio sistema de IA. De hecho, las empresas deben pasar a considerar la arquitectura de la IA como una nueva superficie de ataque y poner en marcha controles de seguridad específicos para proteger los datos de los modelos de lenguaje.

¿Cuáles son los aspectos esenciales que tienen que tener en cuenta las empresas que desarrollan sus propios sistemas de IA?

  • Resulta fundamental auditar el código de la IA para detectar errores o vulnerabilidades presentes en él y proceder a mitigarlos, así como implementar prácticas de desarrollo seguras.
  • Securizar la cadena de suministro de la IA:
    • Realizar un control exhaustivo de todas las cadenas de suministro de una IA (datos, modelos…).
    • Confeccionar y actualizar una lista de materiales de software (SBOM) en la que se incluyan los componentes, dependencias y datos de las aplicaciones de IA.
    • Auditar a los proveedores tecnológicos.

Servicios de ciberseguridad para minimizar los riesgos de usar IA generativa en las empresas

A la luz de los riesgos de usar IA generativa en las empresas que hemos ido desgranando, muchos directivos y profesionales se estarán preguntando: ¿Qué podemos hacer para protegernos frente a los ciberataques contra los modelos de IA y reducir los riesgos de usar IA generativa en las empresas?

Tanto las empresas que desarrollan IA como aquellas que usan sistemas diseñados por terceros deben adaptar sus estrategias de seguridad para incluir estas amenazas y disponer de servicios de ciberseguridad integrales que les permitan prevenir los riesgos, detectar las amenazas y responder ante los ataques.

Desde el desarrollo seguro hasta la respuesta a incidentes

  • Realizar un desarrollo seguro de los sistemas de IA desde el diseño y a lo largo de su ciclo de vida. ¿Cómo?
    • Efectuando modelados de amenazas.
    • Implementando prácticas de codificación seguras.
    • Realizando auditorías de código fuente.
    • Llevando a cabo de manera continua pruebas de seguridad como DAST, SCA o SCS.
  • Asegurarse de que las IA son capaces de detectar ataques y rechazar ejecuciones del prompt. Por ejemplo, mediante un ataque se ha podido demostrar que es posible inducir comportamientos no deseados en aplicaciones como ChatGPT o Gemini. ¿Cómo? Usando ASCII art para introducir en los modelos prompts que no se pueden interpretar solo semánticamente. ¿Cómo se puede evitar? Realizando fine-tuning y formando a agentes para que detecten este tipo de prácticas hostiles.
  • Gestionar las vulnerabilidades y detectar las vulnerabilidades emergentes para mitigar los riesgos antes de que se produzca un ataque, incluyendo las cadenas de suministro de las IA.
  • Diseñar y ejecutar escenarios de Red Team específicos sobre ataques contra sistemas de IA.
  • Disponer de un servicio de respuesta a incidentes proactivo que pueda actuar con la máxima celeridad para contener un ataque.
  • Implementar programas de formación y concienciación sobre el uso de la IA generativa con fines profesionales y empresariales para que los trabajadores puedan emplear esta tecnología sin exponer información crítica.

En definitiva, la Inteligencia Artificial ya es esencial en el día a día de numerosas compañías. Los riesgos de usar IA generativa en las empresas son evidentes, pero pueden afrontarse con éxito diseñando una estrategia de ciberseguridad integral que permita detectarlos y mitigarlos para que las compañías puedan beneficiarse de las ventajas de esta tecnología disruptiva de manera segura.

miércoles, 13 de marzo de 2024

Microsoft Copilot for Security estará disponible en todo el mundo el 1 de abril de 2024


Microsoft hoy
anunció la disponibilidad general de Copilot for Security. A partir del 1 de abril, Copilot for Security estará disponible en todo el mundo. En el lanzamiento, Copilot for Security puede procesar solicitudes y responder en ocho idiomas con una interfaz multilingüe para 25 idiomas diferentes.


Copilot for Security obtiene las siguientes capacidades nuevas como parte de la disponibilidad general:


  • Flujos de trabajo personalizables para sus necesidades: Diseñe sus propios conjuntos únicos de indicaciones en lenguaje natural con libros de indicaciones personalizados. Estas guías personalizadas optimizan a la perfección las tareas de seguridad más frecuentes de su equipo.
  • Desbloquee el poder de su base de conocimientos: (Función de vista previa) Integre Copilot for Security directamente con los procedimientos internos de su empresa. Copilot aprovechará este conocimiento para ejecutar acciones paso a paso adaptadas a su entorno de seguridad específico.
  • Derribe las barreras del idioma en seguridad: Con soporte en varios idiomas, Copilot comprende indicaciones y genera respuestas en ocho idiomas. Además, se puede acceder a su interfaz en un total de 25 idiomas, lo que garantiza una colaboración global.
  • Un ecosistema creciente de soluciones de seguridad: Amplíe las capacidades de Copilot con integraciones de terceros de nuestros socios globales. Están creando activamente herramientas y servicios diseñados para mejorar su postura de seguridad.
  • Comprenda sus riesgos externos: Conecte Copilot a Microsoft Defender External Attack Surface Management para obtener una vista continuamente actualizada de las vulnerabilidades externas de su organización, lo que permite la mitigación proactiva de riesgos.
  • Profundice más con una auditoría optimizada: Obtenga instantáneamente resúmenes en lenguaje natural de los registros de auditoría y de diagnóstico de Microsoft Entra. Identifique rápidamente detalles críticos para investigar incidentes de seguridad o problemas de TI.
  • Maximice el valor de Copilot: Realice un seguimiento de cómo sus equipos utilizan Copilot con paneles de informes de uso. Estos conocimientos le ayudan a identificar áreas para optimizar aún más sus procesos de seguridad y aumentar la eficiencia.

Microsoft también anunció un modelo de licencia de pago por uso para Copilot for Security para hacerlo accesible a una gama más amplia de organizaciones. A través de este modelo de precios basado en el consumo, las organizaciones comienzan sin invertir una gran cantidad.


Copilot for Security crea un centro centralizado para la vasta inteligencia recopilada por sus productos de seguridad de Microsoft y otras herramientas de seguridad compatibles. Ofrece este conocimiento en un formato fácilmente digerible, lo que permite a su equipo gestionar los flujos de trabajo diarios de forma mucho más eficiente. Copilot complementa, en lugar de reemplazar, sus soluciones existentes, optimizando el acceso a información valiosa y acelerando sus tiempos de respuesta.


“Microsoft Copilot for Security es un multiplicador de fuerza para todo el portafolio de Microsoft Security, que integra más de 50 categorías dentro de seis familias de productos para formar una solución de Microsoft Security de extremo a extremo. Al implementar Copilot for Security, puede proteger su entorno desde todos los ángulos, a través de seguridad, cumplimiento, identidad, administración de dispositivos y privacidad”, escribió Vasu Jakkal, vicepresidente corporativo de seguridad, cumplimiento, identidad y administración de Microsoft.




Disponibilidad global y amplio ecosistema  


Disponible en todo el mundo el 1 de abril, Copilot es multilingüe y puede procesar indicaciones y responder en ocho idiomas, con una interfaz multilingüe para 25 idiomas diferentes, lo que lo prepara para las principales geografías de América del Norte y del Sur, Europa y Asia.  

Copilot también ha desarrollado un amplio ecosistema global de más de 100 socios formado por proveedores de servicios de seguridad gestionados y proveedores de software independientes. Estamos muy agradecidos con nuestros socios, que continúan desempeñando un papel vital para permitir que todos adopten con confianza una IA segura y responsable. 




Los socios pueden obtener más información sobre la integración de Copilot aquí




martes, 12 de marzo de 2024

CVE-2023-49785: Vulnerabilidad en NextChat

 
CVE-2023-49785 es una vulnerabilidad crítica que afecta a NextChat, una aplicación que ofrece a los usuarios una interfaz web basada en ChatGPT

Se ha revelado información acerca de una nueva vulnerabilidad crítica que afecta a NextChat, una interfaz de chat utilizada con ChatGPT. La vulnerabilidad CVE-2023-49785 permitiría a un atacante remoto tener acceso interno a diferentes servidores mediante HTTP. También permitiría que un atacante oculte su dirección IP, ya que permite utilizar NextChat como OpenProxy.
 
NextChat es una aplicación que permite obtener de manera sencilla una interfaz web basada en ChatGPT que integra GPT3, GPT4 y Gemini PRO.
 

Características principales CVE-2023-49785


A continuación, se detallan las características principales de esta vulnerabilidad.
 
  • Identificador CVE: CVE-2023-49785
  • Fecha de publicación: 11/03/2023
  • Software Afectado: NextChat / ChatGPT-Next-Web
  • CVSS Score: CVSS:3.1/AV:N/AC:L/PR:N/UI:N/S:U/C:H/I:H/A:N (9.1 Critical)
  • Versiones afectadas:
    • Todas las versiones anteriores a la 2.11.2.
  • Requisitos de explotación:
    • Exposición a Internet de la aplicación.


Mitigación

Actualmente no existe un parche para la vulnerabilidad CVE-2023-49785. Una recomendación para su mitigación es no exponer la instancia públicamente a Internet.
 
En el caso de ser expuesta, se debe asegurar que está aislada y sin accesos a otros recursos internos.
 
En todo caso, un atacante puede seguir explotando esta vulnerabilidad para enmascarar su dirección IP, utilizando la instancia afectada como OpenProxy.
 

Detección de la vulnerabilidad CVE-2023-49785

Para detectar la vulnerabilidad se puede utilizar esta plantilla de Nuclei y también se puede obtener la plantilla del blog de horizon3.