Buenas prácticas de ciberseguridad para la IA

La compañía Worldcoin, creada por el fundador de ChatGPT, ha creado un sistema de IA pensado para diferenciar a los seres humanos de los robots, una vez que la Inteligencia Artificial sea omnipresente. Una cuestión largamente imaginada por la literatura o la cultura audiovisual y que cada día es más real. Para ello, necesitan escanear el globo ocular de la población. Esta noticia evidencia que los sistemas de Inteligencia Artificial ya disponen de una enorme cantidad de datos sobre los ciudadanos y las empresas.

Por ello, es fundamental que las empresas que desarrollan sistemas de IA y sus proveedores pongan en marcha buenas prácticas de ciberseguridad para la IA, de cara a prevenir ciberataques e incidentes de seguridad.

De cara a facilitar esta tarea, la Agencia Europea para la Ciberseguridad (ENISA) acaba de hacer público un framework de buenas prácticas de ciberseguridad para la IA (FAICP). Este marco se basa en las investigaciones y publicaciones recurrentes que ha llevado a cabo la agencia en los últimos años y, en especial, este 2023.

A continuación, vamos a desgranar las claves de este framework para implementar buenas prácticas de ciberseguridad para la IA, poniendo en valor la necesidad de que las compañías dispongan de estrategias de seguridad avanzadas y puedan evaluar con eficacia el riesgo dinámico de ciberseguridad al que se enfrentan.

El complejo panorama de amenazas de la Inteligencia Artificial

¿Por qué es tan importante que las organizaciones pongan en marcha buenas prácticas en ciberseguridad para la IA?

Machine Learning, Deep Learning, procesamiento de lenguaje natural, robots, reconocimiento de voz… Bajo el paraguas de la Inteligencia Artificial nos podemos encontrar con diversas tecnologías que juntas o por separado están transformando ya múltiples sectores económicos.

La explosión de la Inteligencia Artificial y su creciente impacto en la sociedad y la economía trae consigo un panorama de amenazas cada vez más complejo.

Robo, manipulación, destrucción… Categorizando las amenazas

ENISA ha efectuado un mapeo de todas las amenazas, sistematizándolas en ocho grandes categorías:

Actividad nefasta y abusos

Acciones maliciosas que buscan robar información, alterar o destruir objetivos específicos, como podría ser el modelo empleado por una IA generativa. ENISA lista una treintena de amenazas específicas, que van desde el sabotaje de modelos, hasta el envenenamiento de datos, pasando por ataques DDoS contra sistemas de IA o comprometer la validación de los datos de entrenamiento de Machine Learning o su confidencialidad.

Espionaje, interceptación y hijacking

En esta categoría se engloban las acciones cuyo objetivo es obtener información confidencial o interrumpir el funcionamiento de un sistema de IA. Estamos hablando, por ejemplo, de inferencia o robo de datos, así como de divulgación ilegítima del modelo de una IA.

Ataques físicos

Estas amenazas buscan destruir o sabotear los activos. Por ejemplo, lanzando ataques físicos contra las infraestructuras del sistema de IA, manipulando las redes de comunicación o saboteando el modelo.

Daños no intencionados o accidentales

Las amenazas no solo incluyen ataques dirigidos, sino también errores y fallos no intencionados que pueden: comprometer y limitar los resultados de la IA, afectar a la exactitud de los datos inferidos por el sistema o provocar configuraciones erróneas de los modelos.

Fallos o disfunciones

Esta categoría gira en torno a los problemas de funcionamiento de un sistema de IA. El listado de ENISA incluye más de 10 amenazas: degradación del rendimiento de un modelo ML, datos insuficientes, fallos de un proveedor, corrupción de los índices de datos…

Interrupciones

Si la infraestructura TIC, los sistemas o las redes de comunicación sufren interrupciones, el servicio del sistema de IA también se ve interrumpido.

Catástrofes

Tales como desastres naturales o fenómenos medioambientales.

Legales

Por ejemplo, que se vea comprometida la privacidad de los datos empleados por una IA, que se divulgue información personal o que los proveedores no cumplan con sus obligaciones en materia de protección de datos.

FAICP, tres niveles de buenas prácticas de ciberseguridad para la IA

A la luz de esta diversa y creciente panorámica de amenazas, ENISA ha elaborado un marco de buenas prácticas de ciberseguridad para la IA con tres grandes objetivos en el punto de mira:

1. Proteger las infraestructuras TIC y la IA alojada en ellas, teniendo en cuenta tanto el ciclo de vida de la Inteligencia Artificial, como todos los elementos de la cadena de suministro de la IA y los procesos y tecnologías asociadas a ella.
2. Recopilar información sobre los requisitos de ciberseguridad para la IA de los estados miembros de la Unión Europea.
3. Señalar los retos a los que nos enfrentamos en materia de seguridad de la IA, así como las lagunas existentes en las prácticas de ciberseguridad actuales, de cara a optimizarlas y fortalecer la protección de los sistemas de IA y de todas las empresas y ciudadanos que interactúan con sistemas de Inteligencia Artificial.

El resultado es un framework de buenas prácticas de ciberseguridad para la IA estructurado en torno a tres capas o niveles:

• Capa 1. Recoge buenas prácticas de ciberseguridad para proteger los entornos TIC donde se alojan, desarrollan, integran, mantienen o distribuyen los sistemas de IA.
• Capa 2. Presenta prácticas de ciberseguridad centradas en las especificidades de la IA: ciclo de vida, propiedades, amenazas específicas, controles de seguridad…
• Capa 3. Incluye prácticas de ciberseguridad específicas para compañías de sectores críticos como la salud, la automoción o la energía. Esta capa del framework está pensada para los sistemas de IA que sean categorizados como de alto riesgo en el futuro reglamento de la IA que se aprobará, previsiblemente, a finales de año en la Unión Europea.

Securizar el ecosistema TIC de las IA (Capa 1)

Los sistemas de IA no se desarrollan, despliegan y mantienen en el vacío, sino que forman parte de un ecosistema TIC que los aloja. La ciberseguridad es la disciplina encargada de proteger los activos tecnológicos de las empresas y administraciones públicas y, por supuesto, de los ecosistemas de las IA. Lo que implica garantizar la confidencialidad, integridad, autenticidad y disponibilidad de la infraestructura.

Para ello, las compañías han de llevar a cabo una gestión de la seguridad eficiente e integral, disponiendo de servicios de ciberseguridad para:

• Analizar los riesgos, evaluando las amenazas y vulnerabilidades, así como el impacto de un incidente de seguridad exitoso.
• Gestionar los riesgos. Con la información obtenida en las evaluaciones de seguridad se debe priorizar la mitigación de las amenazas y vulnerabilidades, implementando contramedidas eficaces para proteger a los activos empresariales, teniendo en cuenta los recursos disponibles.

Asimismo, las compañías también pueden contratar servicios de Threat Hunting proactivo para escrutar a los actores hostiles potenciales, descubrir las tácticas, técnicas y procedimientos que emplean, mejorar las capacidades de detección y respuesta e incrementar su resiliencia frente a las amenazas persistentes avanzadas (APT).

Todas estas buenas prácticas de ciberseguridad suponen un primer nivel de protección de los sistemas de IA. ¿Por qué? Buscan garantizar que estos sistemas operen en un entorno seguro.

Además, debemos señalar que la gestión de la seguridad de las infraestructuras TIC es una cuestión no solo de capital importancia, sino de obligatorio cumplimiento para muchas empresas en el seno de la Unión Europea tras la aprobación en los últimos años de las directivas NIS y NIS2, el RGPD o la Cybersecturity Act (CSA).

Implementar acciones específicas para proteger a los sistemas de IA (Capa 2)

La capa más importante en el marco de buenas prácticas de ciberseguridad para la IA es la segunda, puesto que aborda, directamente, buenas prácticas diseñadas para proteger a los sistemas de IA.

Como ya señalamos antes, la aprobación del reglamento europeo sobre IA es inminente y ya se conoce el borrador propuesto por la Comisión y enmendado por el Parlamento Europeo, a falta de que se negocie con el Consejo. Dicho borrador establece que todos los sistemas de IA que se comercialicen en la UE deberán ser seguros y respetar los derechos fundamentales de la Unión.

Esto implica poner en marcha una estrategia de seguridad integral para proteger los activos que conforman los sistemas de IA:

• Datos: datos en bruto, datos de entrenamiento, datos de testeo…
• Modelos: algoritmos, modelos, parámetros de modelos…
• Artefactos: frameworks de modelos, políticas de gestión de los datos…
• Actores involucrados: propietarios de los datos, científicos de datos, ingenieros de datos, proveedores de modelos…
• Procesos: recolección de datos, procesamiento de datos, entrenamiento y ajuste de los modelos…
• Entorno y herramientas: librerías de algoritmos, plataformas de Machine Learning, entornos de desarrollo integrados…

Evaluaciones de seguridad de las IA

Más allá de las evaluaciones de seguridad tradicionales, ENISA recomienda a las compañías que desarrollan, alojan o integran sistemas de IA emplear esfuerzos adicionales para evaluar los riesgos específicos de esta tecnología:

Incluir las amenazas que figurarán en el futuro reglamento europeo de la IA: pérdida de transparencia, pérdida de interpretabilidad, pérdida de gestión de los sesgos y pérdida de rendición de cuentas.

Optimizar las tipologías de factores de impacto: solidez, resiliencia, imparcialidad, explicitud.

Optar por una evaluación del riesgo dinámico de ciberseguridad, poniendo el foco en la detección de anomalías.

Analizar y monitorear amenazas y vulnerabilidades

El objetivo debe ser disponer de los mecanismos y buenas prácticas necesarios para hacer frente a las principales amenazas para la seguridad de los sistemas de IA y, en especial, a los sistemas de Machine Learning, como las IA generativas, que son el objetivo más atractivo para los actores hostiles:

• Evasión. Los atacantes buscan vulnerar los inputs del algoritmo del sistema IA para explotar los outputs. Las perturbaciones de entrada que se generan se denominan ejemplos adversarios.
• Envenenamiento. Los actores hostiles alteran los datos o el modelo de la IA, con el objetivo de modificar el comportamiento del algoritmo, cumpliendo con sus objetivos delictivos: sabotear el sistema de IA, insertar una puerta trasera en el sistema…
• Revelación del modelo o los datos. Esta amenaza incluye las filtraciones de información, de origen interno o externo, que afectan al modelo, sus parámetros o los datos de entrenamiento.
• Compromiso de los componentes de una aplicación de IA. Por ejemplo, los actores hostiles logran explotar con éxito vulnerabilidades en una librería de código abierto empleada en el desarrollo del algoritmo de la IA.
• Fallo o funcionamiento deficiente de una aplicación de IA. Por ejemplo, mediante un ataque de DoS exitoso, la introducción de un input malicioso o la existencia de un error en el código que no se ha detectado.

Estas grandes categorías de amenazas se pueden trasladar a un mapa de vulnerabilidades concretas que pueden estar presentes en los sistemas de IA o en sus cadenas de suministro: gestión ineficaz del acceso a la información crítica, uso de componentes vulnerables para desarrollar el sistema de IA, control deficiente de los datos que recupera el modelo o que la evaluación de seguridad del sistema de IA no está integrada en la estrategia de seguridad de la organización para mejorar su resiliencia.

Gestión de la seguridad de las IA

La gestión de la seguridad es esencial para proteger a los sistemas frente a las amenazas y detectar vulnerabilidades antes de que sean explotadas con éxito. Para ello, es fundamental implementar controles de seguridad y llevar a cabo pruebas de seguridad basándose en la información recopilada durante las evaluaciones de seguridad.

Asimismo, en lo que respecta a los sistemas de Inteligencia Artificial hay que tener en cuenta un aspecto esencial de los mismos: su fiabilidad. El marco de buenas prácticas de ciberseguridad para la IA de ENISA define la fiabilidad como «la confianza en que los sistemas de IA se comportarán dentro de las normas especificadas, en función de algunas características». Estas características se pueden sistematizar en tres grandes grupos:

• Características técnicas de diseño: precisión, fiabilidad, robustez, resiliencia.
• Características socio-técnicas: explicitud, interpretabilidad, privacidad, seguridad, gestión de los sesgos.
• Principios que contribuyen a la fiabilidad del sistema de IA: imparcialidad, responsabilidad, transparencia.

Controles de seguridad

El marco de buenas prácticas de ciberseguridad para la IA de ENISA propone diversos controles de seguridad específicos para prevenir y mitigar las principales amenazas que venimos de señalar y garantizar la fiabilidad de los sistemas:

• Evasión. Implementar herramientas para detectar si un input se trata de un ejemplo adverso, recurrir al entrenamiento de adversarios para robustecer la seguridad del modelo o emplear modelos que no sean fácilmente transferibles, para evitar que los actores hostiles puedan estudiar el algoritmo del sistema de IA.
• Envenenamiento. Para prevenir los ataques de envenenamiento es fundamental securizar los componentes del sistema a lo largo de todo su ciclo de vida, evaluar de forma continua la ciberexposición del modelo que emplea el sistema, ampliar el tamaño del conjunto de datos para reducir la capacidad de las muestras maliciosas de influir en el modelo e implementar mecanismos de pre-procesamiento para limpiar los datos de entrenamiento.
• Revelación de modelos o datos. Los mecanismos para controlar el acceso deben ser robustos.
• Compromiso de los componentes de la aplicación de IA. Reducir el nivel de compromiso de los componentes pasa por aplicar políticas de seguridad adecuadas e integradas en la estrategia de seguridad de la organización, así como en la gestión de los activos IT.
• Fallo o funcionamiento deficiente de la aplicación de IA. De cara a prevenir los fallos de las aplicaciones de IA es fundamental que los algoritmos presenten un sesgo reducido y se evalúen continuamente para garantizar su resistencia en el entorno en el que van a operar, además, han de ser explicables para poder detectar vulnerabilidades en ellos.

Pruebas de seguridad

Las pruebas de seguridad de las IA tienen numerosos puntos en común con las pruebas de seguridad de las aplicaciones de software tradicionales, pero también deben atender a las especificidades de esta tecnología:

• Las diferencias entre la IA subsimbólica y los sistemas tradicionales repercuten en la seguridad y en cómo se efectúan las pruebas.
• Los sistemas de IA pueden evolucionar con el paso del tiempo gracias al autoaprendizaje, lo que supone que las propiedades de seguridad puedan degradarse. De ahí que los test dinámicos sean esenciales para comprobar la eficiencia de los controles de seguridad implementados.
• En los sistemas de IA los datos de entrenamiento conforman el comportamiento de la IA subsimbólica, en contraste con los sistemas de software tradicionales.

Por ello, siguiendo el informe sobre pruebas de seguridad para IA del ETSI, se debe:

• Emplear nuevos enfoques en lo relativo a las pruebas de seguridad para la IA.
• Usar oráculos de pruebas de seguridad para la IA, de cara a determinar cuándo se ha superado con éxito un test, es decir, cuándo no se ha podido detectar ninguna vulnerabilidad, y cuándo se detectó una vulnerabilidad.
• Definir criterios de adecuación de las pruebas de seguridad para la IA, con el objetivo de poder medir el progreso global en materia de ciberseguridad y establecer cuándo se debe parar una prueba de seguridad.

Buenas prácticas de ciberseguridad para sectores específicos (Capa 3)

El tercer nivel del marco de buenas prácticas de ciberseguridad para la IA está centrado en proponer medidas específicas para algunos sectores críticos a nivel económico y social, en los que, además, la Inteligencia Artificial ya juega un papel fundamental:

• Energía. La ciberseguridad de este sector se puede ver lastrada por el uso de tecnologías con vulnerabilidades conocidas, inexistencia de una cultura de la ciberseguridad entre empresas, proveedores y contratistas o sistemas de control anticuados.
• Salud. Los ciberataques a hospitales y centros médicos han ido en aumento en los últimos tiempos. Para muestra, el ciberataque que paralizó la actividad del Hospital Clínic de Barcelona. Los delincuentes pueden atacar los dispositivos médicos, los canales de comunicación y las aplicaciones. La IA está llamada a jugar un papel esencial en el terreno de la salud, de ahí que sea fundamental proteger los modelos y datos de estos sistemas.
• Automoción. La automoción es un sector que siempre ha estado a la vanguardia de la robotización y el uso de soluciones de IA. Tal es así que la producción de vehículos autónomos puede suponer un cambio radical en nuestra economía y sociedad, de ahí que la ciberseguridad sea esencial para evitar:
• Ciberataques contra los modelos de procesamiento de imágenes que permiten reconocer señales de tráfico y detectar carriles.
• Ataques de envenenamiento de datos en la detección de señales de stop.
• Ataques relacionados con despliegues a gran escala de firmwares fraudulentos.
• Telecomunicaciones. La integración de sistemas de IA puede ser esencial para disponer de redes capaces de auto-optimizarse, usar el análisis predictivo para mejorar el mantenimiento e incrementar la seguridad detectando actividades fraudulentas. Lo que implica disponer de una estrategia de seguridad robusta que proteja a todos los sistemas de IA empleados y evite la manipulación o la interrupción del servicio.

El futuro del binomio IA-ciberseguridad

El marco de buenas prácticas de ciberseguridad para la IA diseñado por ENISA evidencia la estrecha relación que existe entre la Inteligencia Artificial y la ciberseguridad, y pone el foco sobre cómo las sinergias entre ambas son esenciales para construir un mundo seguro, más aún, en un momento en el que la IA es cada vez más relevante económica y socialmente.

¿Qué cuestiones estratégicas pueden marcar la diferencia a la hora de construir un ecosistema de IA seguro? ENISA propone al final de la guía sobre buenas prácticas de ciberseguridad para la IA una serie de recomendaciones para los expertos en ciberseguridad y las compañías que desarrollan o integran sistemas de IA.

Cómo abordar la ciberseguridad de la IA

• Evaluación dinámica de las fuentes y los datos, puesto que la fiabilidad de los algoritmos de las IA depende de ellos.
• Análisis continuo de la seguridad de los datos a lo largo de todo su ciclo de vida, ya que el envenenamiento de los datos se puede llevar a cabo en cualquier momento.
• Frente a las pruebas de seguridad estáticas, se debe optar por una metodología de vanguardia como el riesgo dinámico de ciberseguridad, ya que los sistemas de IA se caracterizan por aprender y evolucionar constantemente. El análisis del riesgo dinámico de ciberseguridad y la priorización de amenazas es esencial para securizar a los sistemas de IA y, en especial, a los de Machine Learning, a lo largo de todo su ciclo de vida.
• La colaboración entre los expertos en ciberseguridad, los científicos de datos y otros profesionales como psicólogos o juristas es fundamental para identificar las nuevas amenazas que vayan surgiendo, tomar contramedidas eficaces y mejorar la resiliencia de los sistemas de IA

En definitiva, la Inteligencia Artificial es un ámbito en constante evolución que está llamado a generar enormes transformaciones en el tejido productivo y nuestra forma de vivir. Por ello, es fundamental que las estrategias de ciberseguridad presten atención a las especificidades de las IA y protejan los modelos y los datos que estas consumen, pero también a la infraestructura que las aloja.

La colaboración entre expertos en ciberseguridad y los ingenieros y científicos de datos será crucial para construir un ecosistema de IA seguro, fiable y que cumpla con las normativas. Así como la Inteligencia Artificial contribuye a optimizar los servicios de ciberseguridad y aumentar su eficiencia, los conocimientos, técnicas y capacidades de los profesionales de ciberseguridad son esenciales para diseñar, desarrollar, desplegar y mantener sistemas de IA seguros.

Top 10 de vulnerabilidades en aplicaciones LLM como ChatGPT

OWASP ha publicado un ranking con las principales vulnerabilidades en aplicaciones LLM para ayudar a las compañías a fortalecer la seguridad de las IA generativas
Si hay una tecnología que ha acaparado la atención de la opinión pública en lo que va de año esa es, sin duda, las aplicaciones LLM, es decir, sistemas que emplean modelos de lenguaje extenso (Large Lenguage Model, en inglés) y complejos algoritmos de aprendizaje para entender el lenguaje humano y generarlo. La más célebre de estas aplicaciones es ChatGPT, la IA generativa de texto propiedad de OpenAI, pero ya existen en el mercado decenas de aplicaciones LLM.

Al calor del auge de estas IA, OWASP acaba de publicar la versión 1 de su Top 10 de vulnerabilidades en aplicaciones LLM. Este ranking, elaborado por una fundación que se ha convertido en un referente mundial en prevención de riesgos y lucha contra las ciberamenazas, pone el foco en los principales riesgos que deben tener en cuenta tanto las empresas que desarrollan estas aplicaciones, como las compañías que las emplean en su día a día.
El Top 10 de vulnerabilidades en aplicaciones LLM de OWASP tiene como misión educar y concienciar a desarrolladores, diseñadores y organizaciones de los riesgos potenciales a los que se enfrentan a la hora de desplegar y gestionar esta tecnología disruptiva. En cada vulnerabilidad se incluye:

• Definición

• Ejemplos comunes de la vulnerabilidad

• Escenarios de ataque

• Forma de prevenirla

A continuación, vamos a desgranar el top 10 de vulnerabilidades en aplicaciones LLM de OWASP, así como la forma de prevenirlas para evitar incidentes de seguridad que puedan dañar a las compañías y a sus clientes.

1. Inyecciones de prompts

La primera posición del Top 10 de vulnerabilidades en aplicaciones LLM lo ocupan las inyecciones de prompts. Los actores hostiles manipulan los LLM a través de prompts que fuerzan a las aplicaciones a ejecutar las acciones que desea el atacante. Esta vulnerabilidad puede explotarse mediante:

• Inyecciones directas de prompts, conocidas como «jailbreaking» y que se producen cuando un actor hostil es capaz de sobrescribir o revelar el prompt subyacente del sistema. ¿Qué implica esto? Que los atacantes puedan explotar sistemas backend interactuando con funciones inseguras y almacenes de datos.

• Inyecciones indirectas de prompts. Esto tiene lugar cuando una aplicación LLM acepta entradas de fuentes externas que puedan ser controladas por actores hostiles, como, por ejemplo, páginas web. De tal forma que el atacante embebe una inyección de prompt en el contenido externo, procediendo a secuestrar el contexto de conversación, lo que le permitiría manipular a los usuarios o sistemas adicionales a los que la aplicación puede acceder.

Desde OWASP señalan que los resultados de un ataque exitoso son muy variados y pueden ir desde la obtención de información confidencial hasta influir en procesos críticos de toma de decisiones. Es más, en los ataques más sofisticados, la aplicación LLM comprometida puede convertirse en una herramienta al servicio del atacante, llegando a interactuar con plugins en la configuración del usuario y permitiéndole al agresor tener acceso a datos confidenciales del usuario objetivo del ataque, sin que este sea alertado de la intrusión.

Prevención

El Top 10 de vulnerabilidades en aplicaciones LLM señala que las inyecciones de prompts son posibles por la propia naturaleza de estos sistemas, ya que no segregan las instrucciones de los datos externos. Y como los LLM utilizan lenguaje natural, consideran que ambos tipos de inputs son proporcionados por los usuarios legítimos. De ahí que las medidas propuestas por OWASP no se puedan lograr una prevención total de estas vulnerabilidades, pero sí sirvan para mitigar su impacto:

1. Controlar el acceso de la aplicación LLM a los backends. Es recomendable aplicar el principio del mínimo privilegio y restringir el acceso del LLM, otorgándole el nivel de acceso mínimo para que pueda realizar sus funciones.
2. Establecer que la aplicación tenga que obtener la autorización del usuario para realizar acciones como el envío o borrado de emails.
3. Separar el contenido externo de los prompts del usuario. OWASP pone como ejemplo la posibilidad de utilizar ChatML para las llamadas a la API de Open AI, de cara a indicar al LLM la fuente de entrada del prompt.
4. Establecer límites de confianza entre la aplicación LLM, las fuentes externas y los plugins empleados. Se podría tratar a la aplicación como un usuario no confiable, estableciendo que el usuario final mantenga el control de la toma de decisiones. Aunque debemos ser conscientes de que una aplicación LLM comprometida puede actuar como man-in-the-middle y ocultar o manipular información antes de que esta le sea mostrada al usuario.

2. Tratamiento inseguro de los outputs

El segundo puesto del Top 10 de vulnerabilidades en aplicaciones LLM lo ocupa el tratamiento inseguro de los outputs del modelo de lenguaje. ¿Qué significa esto? Se acepta el output sin escrutarlo previamente, llegando a trasladarlos directamente al backend, o funcionalidades privilegiadas. A lo que se debe sumar el hecho de que el contenido que genera una aplicación LLM puede ser controlada a través de la introducción de prompts, como señalamos en el apartado anterior. De tal forma que se estaría proporcionando a los usuarios un acceso indirecto a funciones adicionales.

¿Cuáles son las posibles consecuencias de explotar esta vulnerabilidad? Escalado de privilegios, ejecución remota de código en los sistemas backend e, incluso, si la aplicación es vulnerable a los ataques de inyección externos, el actor hostil podría tener obtener acceso privilegiado al entorno del usuario objetivo.

Prevención

La guía de OWASP sobre el Top 10 de vulnerabilidades en aplicaciones LLM recomienda dos acciones para actuar ante este riesgo:

1. Tratar al modelo como si fuese un usuario, asegurando la validación y sanitización de las respuestas del modelo dirigidas a las funciones backend.
2. Codificar los outputs del modelo de vuelta a los usuarios, de cara a mitigar la ejecución de código malicioso.

3. Envenenamiento de los datos de entrenamiento

Uno de los aspectos clave de las aplicaciones LLM son los datos de entrenamiento que se suministran a los modelos. Dichos datos deben ser numerosos, diversos y abarcar una amplia gama de idiomas. Los modelos de lenguaje extenso emplean redes neuronales para conseguir generar resultados, basándose en los patrones que aprenden gracias a los datos de entrenamiento, de ahí que estos datos sean tan relevantes.

Por ello mismo, también, son un objetivo prioritario para los actores hostiles que desean manipular las aplicaciones LLM. Gracias al envenenamiento de los datos de entrenamiento se puede:

• Introducir backdoors o sesgos que menoscaben la seguridad del modelo.
• Alterar el comportamiento ético del modelo, una cuestión de capital importancia.
• Provocar que la aplicación ofrezca a los usuarios información falsa.
• Degradar el rendimiento del modelo y sus capacidades.
• Generar daños en la reputación de las compañías.

De ahí que el envenenamiento de los datos de entrenamiento sea un problema para la ciberseguridad y para el modelo de negocio de las compañías que desarrollan aplicaciones LLM. Puesto que puede provocar que el modelo sea incapaz de emitir predicciones correctas e interactuar de forma eficaz con los usuarios.

Prevención

El Top 10 de vulnerabilidades en aplicaciones LLM de OWASP propone cuatro grandes medidas para prevenir el envenenamiento de los datos de entrenamiento:

1. Verificar la legitimidad de las fuentes de datos empleadas en el entrenamiento del modelo, pero también a la hora de perfeccionarlo.
2. Diseñar diferentes modelos a partir de datos de entrenamiento segregados y concebidos para casos de usos distintos. Lo que se traduce en una IA generativa más granular y precisa.
3. Emplear filtros más estrictos para los datos de entrenamiento y las fuentes de datos, de cara a detectar datos falsificados y sanear los datos que se empleen para la formación del modelo.
4. Analizar los modelos de entrenamiento para detectar señales de envenenamiento. Así como analizar test para evaluar el comportamiento del modelo. En este sentido, resultan de gran valor añadido las evaluaciones de seguridad a lo largo de todo el ciclo de vida de la aplicación LLM y la puesta en marcha de ejercicios de Red Team especialmente diseñados para este tipo de aplicaciones.

4. Ataques de denegación de servicio contra el modelo

Los ataques DoS son una práctica habitual que ponen en marcha los actores maliciosos contra activos IT de las compañías como las aplicaciones web. Pues bien, los ataques de denegación de servicio también pueden afectar a las aplicaciones LLM.
Un atacante interactúa con la aplicación LLM para obligarla a consumir una enorme cantidad de recursos, provocando:

• La degradación del servicio que presta la aplicación a sus usuarios.
• El aumento de los costes en recursos que tiene que asumir la compañía.

A mayores, esta vulnerabilidad podría abrir la puerta a que un atacante interfiera o manipula la ventana de contexto del LLM, es decir, la longitud máxima de texto que el modelo es capaz de manejar, tanto en lo que se refiere a los inputs como a los outputs. ¿Por qué podría ser muy grave esta acción? La ventana de contexto se establece al crear la arquitectura del modelo y estipula lo complejos que pueden llegar a ser los patrones lingüísticos que el modelo es capaz de comprender, así como el tamaño de texto que puede procesar.
Si tenemos en cuenta que el uso de las aplicaciones LLM va en aumento, gracias a la popularización de soluciones como ChatGPT, esta vulnerabilidad está a llamada a ser cada vez más relevante en lo que respecta a la seguridad, puesto que el número de usuarios y el uso intensivo de recursos será cada vez mayor.

Prevención

En su Top 10 de vulnerabilidades en aplicaciones LLM, OWASP recomienda:

1. Implementar la validación y sanitización de los imputs para asegurarse de que los inputs cumplen con los límites definidos a la hora de crear el modelo.
2. Limitar el uso máximo de recursos por solicitud.
3. Establecer límites de velocidad en la API para restringir el número de solicitudes que un usuario o una dirección IP puede llegar a hacer.
4. Limitar, también, el número de acciones en cola y el número total de acciones en el sistema que reacciona a las respuestas del modelo.
5. Monitorizar de forma continua el consumo de recursos de la aplicación LLM para identificar comportamientos anómalos que puedan servir para detectar ataques DoS.
6. Estipular límites estrictos en lo que respecta a la ventana de contexto, para prevenir sobrecargas y agotamiento de recursos.
7. Concienciar a los desarrolladores de las consecuencias que puede llegar a provocar un ataque DoS exitoso en una aplicación LLM.

5. Vulnerabilidades de la cadena de suministro

Del mismo modo que en las aplicaciones tradicionales, las cadenas de suministro de aplicaciones LLM también están sujetas posibles vulnerabilidades, las cuales podrían llegar a afectar a:

• La integridad de los datos de entrenamiento
• Los modelos de Machine Learning
• Las plataformas de despliegue de los modelos

La explotación exitosa de vulnerabilidades en la cadena de suministro puede provocar que:

• El modelo genere resultados sesgados o incorrectos.
• Se produzcan brechas de seguridad.
• Un fallo generalizado en el sistema que amenace la continuidad de negocio.

El auge del Machine Learning ha traído consigo la aparición de modelos pre-entrenados y datos de entrenamiento procedentes de terceros, dos cuestiones que facilitan la creación de aplicaciones LLM, pero que llevan aparejados riesgos asociados a la cadena de suministro:

• Uso de software desactualizado.
• Modelos pre-entrenados susceptibles de ser atacados.
• Datos de entrenamiento envenenados.
• Plugins inseguros.

Prevención

Para prevenir los riesgos asociados a la cadena de suministro de las aplicaciones LLM, OWASP recomienda:

1. Verificar las fuentes de datos que se usan para entrenar y perfeccionar el modelo, así como emplear sistemas de seguridad auditados por profesionales independientes.
2. Utilizar plugins de confianza.
3. Poner en marcha las mejores prácticas en materia de Machine Learning en lo relativo a los modelos propios.
4. Realizar una monitorización continua para detectar vulnerabilidades.
5. Mantener una política de aplicación de parches eficiente para mitigar vulnerabilidades y gestionar los componentes obsoletos.
6. Auditar regularmente la seguridad de los proveedores, así como su acceso al sistema.

6. Revelación de información sensible

Al abordar el sexto ítem del Top 10 de vulnerabilidades en aplicaciones LLM, OWASP alerta de que los modelos pueden llegar a revelar información sensible y confidencial a través de los resultados que ofrecen a los usuarios. Esto implica que los actores hostiles podrían acceder a datos sensibles, robar propiedad intelectual o vulnerar la privacidad de las personas.

De ahí que sea importante que los usuarios entiendan los riesgos asociados a introducir voluntariamente datos en una aplicación LLM, puesto que esta información puede llegar a ser devuelta en otro lugar. Por ello, las empresas propietarias de aplicaciones LLM tienen que informar debidamente cómo procesan los datos e incluir la posibilidad de que estos no sean incluidos en los datos empleados para entrenar al modelo.

Asimismo, las compañías deben aplicar mecanismos de cara a evitar que los datos de los usuarios acaben formando parte del modelo de datos de entramiento sin su consentimiento explicito.

Prevención

Algunas de las acciones que pueden poner en marcha las empresas propietarias de aplicaciones LLM son:

• Emplear técnicas de limpieza y depuración de los datos.
• Implementar técnicas eficaces para validar los inputs y sanearlos.
• Limitar el acceso a fuentes de datos externas.
• Cumplir con la regla del mínimo privilegio a la hora de entrenar a los modelos.
• Securizar la cadena de suministro y controlar el acceso al sistema de forma eficaz.

 

7. Diseño inseguro de plugins

¿Qué son los plugins LLM? Extensiones que son llamadas automáticamente por el modelo durante las interacciones con el usuario. En muchos casos no existe un control sobre su ejecución. De tal forma que un actor hostil podría realizar una petición maliciosa al plugin, lo que le abriría la puerta a, incluso, realizar una ejecución remota de código malicioso.

Por ello, es muy importante que los plugins dispongan de controles de acceso sólidos, para no confiar ciegamente en otros plugins y creer que el usuario legítimo proporcionó los inputs con fines maliciosos. De lo contrario, estas entradas maliciosas pueden provocar:

• Exfiltración de datos.
• Ejecución remota de código.
• Escalada de privilegios.

Prevención

El Top 10 de vulnerabilidades en aplicaciones LLM recomienda, en lo relativo al diseño de los plugins, poner en marcha estas medidas:

1. Aplicar de forma estricta una parametrización de la entrada y realizar las comprobaciones necesarias para garantizar la seguridad.
2. Aplicar las recomendaciones definidas por OWASP ASVS (Application Security Verification Standard) para asegurar la correcta validación y saneamiento de la entrada de datos.
3. Llevar a cabo pruebas de seguridad de aplicaciones de manera continua: SAST, DAST, IAST…
4. Utilizar identidades de autenticación y claves de API para garantizar medidas de autenticación y control de acceso.
5. Requerir la autorización y la confirmación del usuario para las acciones realizadas por plugins sensibles.

8. Funcionalidades, permisos o autonomía excesivos

Para abordar este ítem del Top 10 de vulnerabilidades en aplicaciones LLM, OWASP emplea el concepto de «Excessive Agency» para alertar de los riesgos vinculados a otorgar a un LLM funcionalidades, permisos o autonomía excesivos. Un LLM que no funcione de forma adecuada (como consecuencia de una inyección o un plugin maliciosos, indicaciones mal diseñadas o bajo rendimiento) puede realizar acciones perjudiciales.
Otorgar funcionalidades, permisos o autonomía excesivos a un LLM puede generar consecuencias que afecten a la confidencialidad, integridad y disponibilidad de los datos.

Prevención

Para acometer con éxito los riesgos vinculados a la «Excessive Agency», OWASP recomienda:

1. Limitar los plugins y las herramientas a los que los LLM pueden llamar y, también, las funciones de los plugins y herramientas de los LLM al mínimo necesario.
2. Exigir la aprobación del usuario para todas las acciones y llevar a cabo un seguimiento eficaz de la autorización de cada usuario.
3. Registrar y supervisar la actividad de los plugins y herramientas LLM para identificar acciones indeseadas y poder responder frente a ellas.
4. Aplicar medidas ‘rate limiting’ para reducir el número de posibles acciones no deseadas.

9. Exceso de confianza

Según la guía del Top 10 de vulnerabilidades en aplicaciones LLM de OWASP, el exceso de confianza se produce cuando los sistemas o los usuarios dependen de la IA generativa para tomar decisiones o generar contenido sin una supervisión adecuada.
En este sentido, debemos entender que las aplicaciones LLM pueden crear contenido valioso, pero también pueden generar contenido incorrecto, inapropiado o, incluso, inseguro. Lo que puede dar lugar a desinformación, problemas legales y menoscabar la reputación de la empresa que usa el contenido.

Prevención

De cara a prevenir el exceso de confianza y las graves consecuencias que puede acarrear no solo a las empresas que desarrollan aplicaciones LLM, sino también a las compañías y personas que las usan, OWASP recomienda:

1. Supervisar y revisar de forma periódica los resultados y outputs que arroja el LLM.
2. Contrastar los resultados de la IA generativa con fuentes de información fiables.
3. Mejorar el modelo realizando ajustes para incrementar la calidad y consistencia de los outputs del modelo. En este sentido, la guía de OWASP sostiene que los modelos pre-entrenados con más proclives a arrojar información errónea que los modelos desarrollados para un ámbito determinado.
4. Implementar mecanismos de validación automática capaces de contrastar y verificar los resultados generados por el modelo con datos y hechos conocidos.
5. Segmentar las tareas en subtareas a cargo de profesionales diferentes.
6. Informar a los usuarios de los riesgos y limitaciones de la IA generativa.
7. Desarrollar APIs e interfaces de usuario que fomenten la responsabilidad y seguridad a la hora de usar las IA generativas, incorporando medidas como filtros de contenido, advertencias de posibles incoherencias o etiquetado del contenido generado con IA.
8. Establecer prácticas de código segura y guías de trabajo para evitar la integración de vulnerabilidades en los entornos de desarrollo.

10. Robo del modelo

El último puesto del Top 10 de vulnerabilidades en aplicaciones LLM de OWASP lo ocupa el robo del modelo, es decir, el acceso no autorizado y la filtración de los modelos LLM por parte de actores maliciosos o grupos APT.
¿Cuándo se produce esta vulnerabilidad? Cuando un modelo patentado se ve comprometido, es robado físicamente, copiado o los parámetros necesarios para crear un modelo equivalente son sustraídos.
El impacto de esta vulnerabilidad en las compañías propietarias de las IA generativas incluye cuantiosas pérdidas económicas, menoscabo de la reputación, pérdida de ventaja competitiva frente a otras empresas, uso inadecuado del modelo y acceso indebido a información sensible.
Las organizaciones deben tomar todas las medidas necesarias para proteger la seguridad de sus modelos LLM, garantizando su confidencialidad, integridad y disponibilidad. Ello pasa por diseñar e implementar un marco de seguridad integral eficaz a la hora de salvaguardar los intereses de las compañías, sus trabajadores y usuarios.

Prevención

¿Cómo pueden prevenir las compañías el robo de sus modelos LLM?

1. Implementando controles de acceso y autenticación estrictos.
2. Restringiendo el acceso a los recursos de la red, servicios internos y API, para prevenir los riesgos y amenazas internas.
3. Supervisando y auditando los accesos a los repositorios del modelo, para responder frente a comportamientos sospechoso o que actuaciones que carecen de autorización.
4. Automatizando el despliegue de operaciones de Machine Learning.
5. Implementando controles de seguridad y poniendo en marcha estrategias de mitigación.
6. Limitando el número de llamadas a la API para reducir el riesgo de exfiltración de datos y empleando técnicas para detectar extracciones indebidas.
7. Empleando un framework de marca de agua en todo el ciclo de vida de la aplicación LLM.

IA generativas y ciberseguridad

El Top 10 de vulnerabilidades en aplicaciones LLM de OWASP evidencia la importancia de contar con profesionales de ciberseguridad experimentados y altamente cualificados para hacer frente al complejo panorama de ciberamenazas con éxito.

Si las IA generativas se consolidan como una de las tecnologías más relevantes de los próximos años, se convertirán en targets prioritarios de los grupos de delincuentes. De ahí que sea indispensable que las compañías sitúen la ciberseguridad en el centro de sus estrategias empresariales.

Servicios de ciberseguridad para mitigar las vulnerabilidades en aplicaciones LLM

Para ello, tienen a su disposición servicios de ciberseguridad avanzados para securizar las aplicaciones LLM a lo largo de todo su ciclo de vida y prevenir los riesgos asociados a la cadena de suministros, de gran relevancia teniendo en cuenta el desarrollo y comercialización de modelos pre-entrenados:

• Auditorías de código y pruebas seguridad de aplicaciones (DAST, SAST, IAST, etc.), desde el diseño y durante el ciclo de vida de la aplicación.
• Gestión de vulnerabilidades para detectar, priorizar y mitigar las vulnerabilidades presentes en todos los componentes del sistema.
• Detección de vulnerabilidades emergentes, de cara a subsanar problemas antes de que estos sean explotados por actores hostiles.
• Simulación de ataques DoS, para comprobar la capacidad de resiliencia frente a este tipo de ataques y mejorar las capas defensivas y la gestión de los recursos.
• Servicios de Red Team, de cara a evaluar la efectividad de las capacidades defensivas de la organización para detectar, responder y mitigar un ataque exitoso, así como para recuperar la normalidad en el menor tiempo posible y salvaguardar la continuidad de negocio.
• Auditorías de proveedores para prevenir ataques de cadena de suministros.
• Formación y capacitación de todos los profesionales para implementar buenas prácticas en materia de seguridad y evitar errores o fallos que propicien vulnerabilidades explotables.

En definitiva, el Top 10 de vulnerabilidades en aplicaciones LLM de OWASP pone el foco sobre los riesgos de seguridad asociados a las IA generativas, tecnologías que ya forman parte de nuestras vidas y que son empleadas por miles de empresas y profesionales en su día a día.

Proteja los datos, gestione el riesgo y garantice el cumplimiento en entornos multinube

Adoptar una estrategia multicloud permite a TI mayor agilidad y flexibilidad, reduce costos y una mejor experiencia;

Las estrategias multinube se han convertido en algo común para la mayoría de las empresas. 

Actualmente, más del 90% de las organizaciones cuentan con infraestructuras, plataformas y servicios en la nube para gestionar sus negocios. sin embargo, la falta de visibilidad y el control a la hora de gestionar estos entornos es un gran desafío. 

Para mitigar los desafíos de gestión que enfrentan las herramientas estándar en las complejas infraestructuras centradas en la nube de hoy, la estrategia debe operar sin complejidad y optimizar la seguridad independientemente del proveedor de servicios.

Se deben garantizar ahorros de costos, optimización automatizada del rendimiento y una mayor gobernanza . Al abordar diferentes complejidades de múltiples entornos, Microsoft comparte algunas innovaciones a medida que amplía su esfera de protección. 

Desafíos de los entornos multinube

Un punto importante para las organizaciones es la falta de visibilidad y control sobre identidades y permisos, algo que está en constante evolución.

Para solucionar esto, Microsoft adquirió en 2021 la Seguridad de CloudKnox, una solución que ayuda a gestionar los permisos de la nube y fortalecer la estrategia Confianza cero. Denominado CIEM, acabó evolucionando hasta convertirse en lo que hoy es Microsoft Entra Permissions Management , parte de los productos de identidad de Microsoft. Microsoft Entrar.

En 2022, el Microsoft defender for Cloud incluye soporte para Google Cloud Platform (GCP) y Amazon Web Services (AWS), lo que lo convierte en el1er proveedor en ofrecer protección integradade aplicaciones nativas de la nube (CNAPP) para las tres principales plataformas de la industria (MicrosoftAzure, AWS y GCP).

Luego, Microsoft  Defender for Cloud  comenzó a ofrecer varias funciones a los usuarios, incluida  la gestión de la postura de seguridad en la nube y la protección de la carga de trabajo en la nube . Las nuevas capacidades de gestión de la postura de seguridad con reconocimiento de datos para estos proveedores ayudan a mejorar la seguridad y el cumplimiento en todos los servicios.

A principios de este año le tocó el turno a Competencia de Microsoft obtener mejoras en la protección de datos estructurados y no estructurados, dondequiera que residan.

Obtenga una mayor visibilidad de los activos de la nube para obtener una imagen completa

La cantidad de datos que se crean y transfieren está creciendo exponencialmente. Haciala fuerza laboral moderna está distribuiday la estructura digital de cualquier organización se compone de múltiples segmentos, lo que añade capas de complejidad. Las organizaciones ya no quieren lidiar con soluciones incompletas e inconexas que solo resuelven parte del problema. 

El paso a la multinube, junto con todos los beneficios, conlleva importantes desafíos. Sin una visibilidad unificada, el uso de múltiples servicios en la nube aumenta la cantidad de superficies de ataque y el posible compromiso de los datos. Para complicar aún más las cosas, existe preocupación por seguir los requisitos de las leyes de privacidad y cumplimiento nacionales e internacionales, como la LGPD en Brasil, el GDPR de la Unión Europea y las diversas leyes estatales en los Estados Unidos.

Identificar posibles riesgos presentados por los usuarios internos.

La mayoría de los incidentes de seguridad de los datos suelen ser causados por acciones internas, es decir, representan casi el 35%. E incluso los programas de seguridad más sólidos pueden verse socavados, comprometiendo intencionalmente o no a una empresa. 

Para ayudar a identificar riesgos de datos en múltiples entornos,  Microsoft Purview Insider Risk Management le permite importar eventos desde sistemas CRM como Salesforce o herramientas de desarrollo como GitHub. 

Las actividades de los usuarios se pueden utilizar como indicadores personalizados en políticas de riesgo internas, combinadas con otros indicadores integrados, ofreciendo a las organizaciones una visión integral y una comprensión de los peligros potenciales que presenta un usuario interno. 

Proteja los datos confidenciales en todo su panorama digital

La pérdida de datos confidenciales sigue siendo la principal preocupación de seguridad para los profesionales de seguridad y TI. Esto a menudo lleva a implementar múltiples soluciones para gestionar diferentes entornos, lo que puede generar puntos ciegos y fuga de datos. 

Es fundamental contar con soluciones integradas que puedan proteger los datos confidenciales en todo su panorama digital. Además de admitir aplicaciones, servicios de Microsoft 365, Microsoft Edge y puntos finales de Windows, Microsoft Purview Data Loss Prevention (Purview DLP) admite puntos finales de macOS, así como entornos virtualizados como Citrix, Windows Virtual Desktop, Amazon Workspaces y Hyper-V. además de los navegadores Google Chrome y Firefox. 

Las organizaciones ahora pueden aprovechar Purview DLP para evitar que sus usuarios peguen contenido confidencial en sitios web y navegadores compatibles. Por ejemplo, supongamos que un usuario copia la información del cliente de un sistema CRM o una base de datos SQL y la pega en su correo electrónico personal, redes sociales o indicaciones generativas de IA en un navegador compatible, como Microsoft Edge, Google Chrome o Firefox. 

Según la política predefinida, Purview DLP auditará, advertirá o bloqueará la acción para evitar la fuga de información confidencial. 

Garantice el cumplimiento de los datos en su entorno multinube

Con la creciente adopción de servicios en la nube y la protección constante de entornos complejos, es cada vez más difícil identificar los riesgos de cumplimiento en una organización. Ahora puede ejecutar evaluaciones a través de  Microsoft Purview Compliance Manager para cada estado multinube, incluidos Azure, AWS, GCP y servicios como Zoom y Salesforce.

Por ejemplo, para la regulación de un estándar de seguridad de datos de la industria de tarjetas de pago, puede automatizar la postura de cumplimiento de su organización dentro del contexto, los requisitos o las mejores prácticas que más le interesen, lo que le permitirá planificar y priorizar eficientemente cualquier esfuerzo de remediación, así como monitorear su el progreso de la organización. 

El panel del Administrador de cumplimiento muestra evaluaciones de postura multinube ;

Simplifique y automatice su enfoque, obtenga información clara, refuerce una superficie de ataque y cumpla con las normas. Siguiendo estos pasos, los entornos multinube se pueden gestionar cuidadosamente para respaldar un rendimiento empresarial óptimo. 

Fuente:Seguridad de Microsoft

Las principales tendencias de Microsoft Inspire 2023

Descubra las tendencias tecnológicas presentadas en Microsoft Inspire 2023, un evento que destaca la IA, la tecnología en la nube y la colaboración con socios de Microsoft.

Microsoft Inspire 2023 es un evento anual muy esperado en todo el mundo. Es una plataforma única para explorar las últimas innovaciones, conocer las tendencias tecnológicas, las estrategias de la empresa y descubrir interesantes oportunidades comerciales.

El evento se llevó a cabo virtualmente para permitir que socios de todo el mundo se conectaran y participaran en debates. Esto demuestra la capacidad de Microsoft para adaptarse al cambio y promover la colaboración y el intercambio de conocimientos.

Centrándose en tres áreas clave (IA, tecnología en la nube y asociaciones estratégicas), Microsoft Inspire 2023 trajo una serie de anuncios e innovaciones interesantes que están dando forma al futuro de la tecnología.

Tendencias Tecnológicas: IA para optimizar procesos y aumentar la productividad

Sin duda, uno de los aspectos más destacados de Microsoft Inspire 2023 fue la IA y la forma en que está transformando el mundo y el flujo de trabajo. Según Work Trend del propio Microsoft , el 70% de los empleados están dispuestos a delegar tareas a soluciones de IA para tener más tiempo libre. Y Microsoft está atenta y dispuesta a explorar cada vez más esta tendencia tecnológica.

La compañía anunció nuevas soluciones basadas en inteligencia artificial que tienen como objetivo aumentar la productividad y la eficiencia de los procesos para clientes y socios. Uno de los anuncios fue Bing Chat Enterprise. Esta solución proporciona un chat inteligente basado en IA para organizaciones que trabajan en la protección de datos empresariales. 

Bing Chat Enterprise permite a las organizaciones aprovechar las herramientas de inteligencia artificial del nuevo Bing, lanzado en febrero, pero sin comprometer la seguridad y privacidad de sus datos corporativos. De esta manera, los clientes empresariales pueden acceder a mejores respuestas, mayor eficiencia y nuevas formas de ser creativos.

Nuevas actualizaciones

Además, se ha mejorado Microsoft Sales Copilot, una solución integrada con Dynamics 365 Sales. Ahora tiene más funciones de inteligencia artificial para ayudar a los vendedores a ahorrar tiempo, aumentar la productividad y mejorar las relaciones con los clientes. Todo ello a través de la automatización de tareas de CRM. 

A través de tendencias tecnológicas como la IA, es posible generar resúmenes de oportunidades, borradores de correos electrónicos contextualizados y preparativos de reuniones. 

Finalmente, Microsoft anunció la disponibilidad general de las funciones de Power Automate Process Mining. El objetivo es brindar a sus clientes información basada en inteligencia artificial para optimizar los procesos e impulsar la eficiencia a través de la automatización de código bajo. 

Por lo tanto, las organizaciones pueden comprender lo que sucede en su negocio e identificar y eliminar bloqueos en sus flujos de trabajo. 

Azure y Azure OpenAI: acceso a los potentes modelos de lenguaje de OpenAI

Azure, la plataforma tecnológica en la nube de Microsoft, continúa ofreciendo soluciones innovadoras y seguras. Ahora, Azure OpenAI, un servicio que ofrece inteligencia artificial en lenguajes avanzados, se está expandiendo a Norteamérica, Europa occidental y Asia. El objetivo es satisfacer la gran demanda de los clientes de soluciones basadas en IA a escala.

Azure OpenAI ofrece a los clientes inteligencia artificial en lenguaje avanzado con los modelos OpenAI GPT-4, GPT-3, Codex y DALL-E con la promesa empresarial y de seguridad de Azure. Codesarrolla las API con OpenAI, lo que garantiza la compatibilidad y una transición perfecta de una a otra. Entonces, con Azure OpenAI, los clientes obtienen las capacidades de seguridad de Microsoft Azure mientras ejecutan los mismos modelos que OpenAI.

Además, el servicio también se destacó en asociación con Epic, una empresa líder en software sanitario. Ha integrado el servicio Azure OpenAI en su software de historia clínica electrónica. El objetivo era ayudar a los médicos a explorar datos clínicos de una manera más intuitiva y conversacional.

Los clientes de Epic también utilizan Azure Large Instances para ejecutar grandes bases de datos, lo que permite una escalabilidad más allá de los límites de las soluciones de infraestructura de nube pública compartida.

Esta es una prueba de que las tendencias tecnológicas como la tecnología de la nube están impulsando la innovación y promoviendo la transformación digital a escala.

Aún hablando de Azure, Microsoft anunció una importante inversión en Azure Migrate & Modernize para aumentar la escala y la disponibilidad y lanzar Azure Innovate. Ambos servicios tienen como objetivo ofrecer un soporte más completo desde la migración hasta la creación de nuevas aplicaciones con IA.

Impulsando el programa de socios de nube de IA de Microsoft

Microsoft Inspire 2023 marcó el lanzamiento del Microsoft AI Cloud Partner Program, la próxima generación del programa de socios de Microsoft que permite a todos los socios ofrecer valor al cliente mientras aprovechan la IA de Microsoft y la tecnología de la nube. 

El programa ofrece beneficios exclusivos a los socios (desde startups hasta ISV) que se especializan en soluciones basadas en IA, como acceso temprano a recursos técnicos, incentivos financieros, capacitación personalizada y soporte de marketing.

En conclusión, otras actualizaciones con oportunidades de socios anunciadas en Microsoft Inspire fueron:

• Éxito de ISV: beneficios del producto y de la nube disponibles para todos. Estos son recursos dedicados a ayudar a acelerar los negocios a través del mercado comercial de Microsoft;
• Ofertas privadas de múltiples partes: los socios ahora pueden trabajar juntos para vender ofertas personalizadas a través de Microsoft Commercial Marketplace;
• Nuevas designaciones de servicios para socios: creación de nuevos servicios de capacitación para socios de aprendizaje, designaciones de ISV para quienes crean soluciones alineadas con la nube de Microsoft y designación de servicios de soporte.

Para ver todo lo ocurrido durante los dos días del evento basta con acceder a la web de Microsoft.

Seguridad en la nube: ¿por qué su empresa debería priorizarla?

Trabajar en la nube ya es una realidad para distintas empresas. Gracias a sus numerosos beneficios, la arquitectura en la nube ha ido ganando notoriedad en el segmento tecnológico e impulsando negocios en todo el mundo.

Pero, a pesar de ser una de las herramientas más seguras del mercado, el entorno de la nube no está completamente libre de peligros . Y por eso es fundamental conocer la seguridad en la nube .

Según un informe de IBM , el coste medio mundial de una filtración de datos alcanza los 4,24 millones de dólares. Además, las previsiones indican que las pérdidas provocadas por los ciberataques podrían alcanzar los 10 billones de dólares en 2025.

¿Aún tienes dudas sobre cómo garantizar la protección de tus datos? ¡Mira este contenido y aprende más sobre la seguridad en la nube!

¿Qué es la seguridad en la nube?

Definida por una serie de tecnologías, prácticas, protocolos y procesos que garantizan la protección y privacidad de los datos de sus usuarios , el concepto de seguridad en la nube está directamente relacionado con las herramientas y dispositivos de ciberseguridad dirigidos al entorno de la nube.

Este nivel de protección es promovido por diferentes infraestructuras, tanto físicas como digitales . Los centros de datos, software y hardware, endpoints, almacenamiento de datos, sistemas de respaldo y muchos otros elementos se encuentran dentro del marco de seguridad de la nube.

Dependiendo del modelo de nube contratado, una empresa puede tener diferentes opciones y responsabilidades de seguridad . En un modelo de nube pública, por ejemplo, tanto el proveedor de la nube como el cliente tienen responsabilidades en materia de ciberseguridad. El primero debería centrarse en la protección del software y el hardware, mientras que el segundo analiza la seguridad de los puntos finales , como máquinas y aplicaciones.

Esto también puede cambiar según el modelo de servicio elegido. La elección de un cliente de un sistema de software como servicio (SaaS) o de infraestructura como servicio (IaaS) , por ejemplo, también puede cambiar su responsabilidad por la seguridad de sus datos.

A la hora de elegir la mejor opción para su empresa y garantizar la seguridad de su información, es fundamental encontrar un socio que comprenda las necesidades de su negocio y ofrezca las mejores soluciones del mercado.

Los puntos finales también son un punto importante cuando se trata de seguridad en la nube.

¿Por qué es importante la seguridad en la nube?

Responsable de la protección de datos y del buen funcionamiento de los procesos de una empresa, la seguridad en la nube es fundamental para proporcionar una mayor visibilidad ante posibles fallos . Además, centrarse en la seguridad de la nube también puede generar optimización de costes e incluso una mayor competitividad en el mercado.

¡Vea las razones principales para priorizar la seguridad en la nube a continuación!

Optimización de procesos

Al observar el pleno funcionamiento tanto del software como del hardware, una empresa es capaz de proteger sus procesos y, al mismo tiempo, fomentar una mayor optimización de los mismos.

Esto se debe a que, al preocuparse por estos elementos, tu equipo asegura un uso cada vez más eficiente de los mismos y presta mayor atención a posibles fallos de seguridad .

Cuando las estructuras de la nube se observan y mejoran con frecuencia, los procesos internos de una empresa se vuelven cada vez más optimizados, efectivos y seguros.

Reducción de costos

A través de la seguridad en la nube, una empresa también puede optimizar su presupuesto y reducir posibles costes.

En un principio, la inversión en ciberseguridad puede parecer elevada. Sin embargo, al garantizar la eficiencia de los procesos y la protección de datos, es posible reducir los costos generales y reasignar las inversiones de manera más efectiva . 

Además, cabe señalar que un ciberataque puede provocar enormes pérdidas, tanto en el flujo de caja de una institución como en su valor de mercado.

Competitividad comercial

Otro punto importante de la seguridad en la nube es su potencial de competitividad: al invertir en elementos de seguridad en la nube, una empresa se posiciona en el mercado y relaciona su marca con la seguridad y privacidad ante los ojos de sus clientes.

Con esto, es posible consolidarse en un segmento de manera más asertiva y competitiva, además de agregar mayor valor comercial a una empresa.

¿Cuál es la relación entre seguridad y cumplimiento?

De la palabra inglesa “ comply ”, el término cumplimiento puede traducirse como “estar en cumplimiento” o “actuar dentro de las reglas”. Caracterizada por los estándares, políticas y lineamientos de una empresa , es responsable de garantizar que los empleados sigan la misma conducta.

El cumplimiento funciona como una guía que establece reglas tanto internas como externas (como estándares de organismos reguladores o leyes específicas).

Aunque son conceptos diferentes, seguridad y cumplimiento van de la mano. Esto se debe a que, entre las directrices de una empresa, la privacidad y la protección de datos siempre es un tema presente.

Es a partir de esta relación que el cumplimiento se vuelve fundamental para la seguridad en la nube.

Al describir las reglas de conducta de una institución y determinar, por ejemplo, las políticas de confidencialidad , está directamente vinculado a la protección de información importante y garantiza castigos adecuados si no se cumple esta conducta.

Además, el uso de puntos finales es también otro ejemplo de la sinergia entre seguridad y cumplimiento. Dado que indica la forma correcta en que los empleados deben utilizar dispositivos como portátiles y teléfonos móviles, es posible remediar vulnerabilidades y promover una mayor protección de los datos de una empresa .

Por tanto, es fundamental que una empresa preste atención a estos dos conceptos. Porque, gracias a ellos, existe una menor probabilidad de que se produzcan fugas de datos o incluso ciberataques .

 

La seguridad en la nube también está relacionada con la optimización de costos e incluso con la competitividad del mercado.

Proveedor de Servicios Gestionados: una solución para la seguridad en la nube

Una buena gestión de un entorno cloud exige una serie de elementos de seguridad y optimización. Un equipo calificado, tareas automatizadas, monitoreo constante y horarios 24×7 son solo algunos de los puntos necesarios para asegurar que tus datos estén protegidos a través de la nube.

Es en este contexto donde aparece el Proveedor de Servicios Gestionados .

¿Cómo utilizar la inteligencia artificial de forma segura?

Como vimos en los Articulos Riesgos y problemas causados ​​por la inteligencia artificial (IA) Parte 1 y Riesgos y problemas causados ​​por la inteligencia artificial (IA) Parte 2 como cualquier avance tecnológico, la IA también presenta desafíos y riesgos, especialmente en lo que respecta a la seguridad.

Veremos varias prácticas seguras para que puedas utilizar la inteligencia artificial sin correr riesgos 

La inteligencia artificial ha llegado de forma intensa, cambiando rutinas, y no hay predicción de un mundo futuro sin IA. Pero, seamos realistas, no todo es color de rosa en el mundo tecnológico.  Entonces, ¿cómo podemos crear formas seguras de utilizar esta herramienta sin correr riesgos?  

Pensando en estos aspectos, cree una guía paso a paso para utilizar la inteligencia artificial de forma segura y, perdón por la redundancia, realmente inteligente.  Es importante recordar que la herramienta en sí es neutral. Pero no podemos controlar la mente de los usuarios, ya que es en base a la idea de ética que cada individuo tenga que se definirá cómo y con qué intención será utilizada.  

Hay un potencial inherente a las buenas prácticas y al buen uso, pero también hay malas intenciones que no dependen de las herramientas, sino del usuario. Entonces, anticipémonos y prediquemos las posibilidades de errores para protegernos estratégicamente. 

No es que el futuro sea como las películas de ciencia ficción donde las máquinas dominan a los hombres, pero hay preocupaciones importantes, principalmente relacionadas con las invasiones de delicuentes informaticos, la seguridad de las personas y los secuestros financieros.  Hay que analizar problema por problema y pensar, en nuevas soluciones. Recordando que en la tecnología la dinámica es muy rápida, por eso, siempre necesitamos repensar cómo protegernos. 

Problema: prejuicios y desigualdades  

Dado que la IA se basa en datos recopilados, un sistema que está “contaminado” con sesgos, desinformación y opiniones distorsionadas puede generar sesgos. 

Solución: Los usuarios deben estar informados, conscientes y atentos a fuentes confiables. Además, es necesario crear y hacer cumplir regulaciones para evitar este problema.

Problema: ataques maliciosos 

Los ataques tienen consecuencias graves, como el acceso no autorizado a información confidencial. 

Solución: Los expertos deben utilizar inteligencia artificial para predecir y proteger la información de ataques, incluso en brechas que aún no están abiertas. Investiga y descubre buenas soluciones. 

Problema: desinformación masiva 

Grandes campañas políticas, gente malvada, creadores de noticias falsas. Existen y es necesario combatirlos. 

Solución: Es necesario enseñar a las máquinas a predecir y analizar qué es real, quiénes son las fuentes confiables y también regular las empresas detrás de las máquinas. Nuevamente: usa tu inteligencia y tus filtros sociales. Cuestionate siempre.

Problema: los sistemas pueden ser impredecibles 

A medida que avanza la IA, puede surgir el riesgo de que los sistemas autónomos actúen de forma impredecible. 

Solución: Cubrir a las instituciones responsables con la normativa necesaria para este mundo donde la IA es una realidad.

Problema: crímenes sexuales virtuales 

A medida que la gente emula voces y apariencias, comienzan a ocurrir nuevos delitos, incluidos delitos sexuales. 

Solución: Estar atento a las noticias, a lo que consumen niños y adolescentes, investigar filtros de protección y, si es necesario, llamar a la policía.

Problema: estafas financieras 

Emulaciones de voz, clonaciones, fotografías falsas. Los estafadores utilizan cualquier herramienta para ganar dinero fácil y aprovecharse de personas inocentes. 

Solución: Mientras la tecnología crea barreras y se desarrolla la inteligencia artificial, crea contraseñas y protocolos con tu familia para confirmar que el otro extremo de la línea es realmente un miembro de tu familia. Proteja sus datos siempre que sea posible.