Microsoft anuncia nuevas herramientas en Azure AI para ayudar a crear aplicaciones de IA generativa más seguras y fiables

Microsoft anuncia nuevas herramientas en Azure AI Studio para desarrolladores de aplicaciones de Inteligencia Artificial generativa que les ayudan a superar retos de calidad y seguridad de la IA. Con estas incorporaciones, el portfolio de soluciones que Microsoft ofrece con Azure AI continúa proporcionando tecnologías innovadoras para salvaguardar aplicaciones a lo largo del ciclo de vida de la IA generativa.

Protección de los LLM contra los ataques de inyección puntual con Prompt Shields

Para combatir los ataques de inyección de prompts, tanto los directos, conocidos como jailbreaks, como los indirectos, Microsoft ha introducido Prompt Shields para detectar entradas sospechosas en tiempo real y bloquearlas antes de que lleguen al modelo base. Este enfoque proactivo salvaguarda la integridad de los grandes sistemas de modelos de lenguaje (LLM) y las interacciones de los usuarios.

Identificación de alucinaciones de LLM con Groundedness detections

Microsoft también ha anunciado la próxima disponibilidad de Groundedness detection, una nueva función diseñada para identificar las alucinaciones basadas en texto (casos en que un modelo genera con confianza resultados que no coinciden con el sentido común o carecen de datos de base). Esta función detecta "material no fundamentado" en el texto para mejorar la calidad de los resultados de LLM.

Identificar las alucinaciones es crucial para mejorar la calidad y la fiabilidad de los sistemas de IA generativa, pues este problema puede manifestarse de distintas formas, desde pequeñas imprecisiones hasta resultados totalmente falsos.

Un mensaje de sistema de seguridad eficaz para dirigir aplicaciones

Además de añadir sistemas de seguridad como Azure AI Content Safety, para ayudar a crear mensajes de sistema eficaces, Microsoft ha anunciado que pronto estarán disponibles plantillas de mensajes de sistema de seguridad directamente en los playgrounds Azure AI Studio y Azure OpenAI Service de forma predeterminada. Desarrolladas para mitigar la generación de contenido dañino y el uso indebido, estas plantillas pueden ayudar a los desarrolladores a empezar a crear aplicaciones de alta calidad en menos tiempo.

Evaluación de los riesgos y la seguridad de las solicitudes de LLM

Hoy en día, muchas organizaciones carecen de los recursos para realizar pruebas de estrés en sus aplicaciones de IA generativa para poder avanzar con confianza desde el prototipo hasta la producción. Para ayudarles, entre las novedades que ha anunciado Microsoft, se encuentran las  evaluaciones automatizadas para nuevas métricas de riesgo y seguridad. Ya disponibles en versión en preview, estas evaluaciones de seguridad miden la susceptibilidad de una aplicación a los intentos de jailbreak la producción de contenido violento, sexual, relacionado con autolesiones, injusto y que incite al odio. También ofrecen explicaciones en lenguaje natural de los resultados de la evaluación para ayudar a mitigar los riesgos.

Los desarrolladores pueden evaluar una aplicación utilizando su propio conjunto de datos de prueba o simplemente generar un conjunto de datos de prueba de alta calidad, utilizando plantillas de mensajes adversos desarrolladas por Microsoft Research.

Supervisión de las implementaciones de Azure OpenAI Service en busca de riesgos y seguridad en la producción

Microsoft presenta la monitorización de riesgos y seguridad en Azure OpenAI Service. Ahora, los desarrolladores pueden visualizar el volumen, la gravedad y la categoría de las entradas del usuario y las salidas del modelo que fueron bloqueadas por sus filtros de contenido y listas de bloqueo de Azure OpenAI Service a lo largo del tiempo.

Además de la supervisión y las perspectivas a nivel de contenido, se incluyen informes para detectar posibles abusos a nivel de usuario. Si el contenido de un usuario se marca como dañino por los filtros de contenido preconfigurados o las listas de bloqueo de un cliente, el servicio utilizará señales contextuales para determinar si el comportamiento del usuario califica como abuso del sistema de IA. Con estas nuevas capacidades de monitoreo, las organizaciones pueden comprender mejor las tendencias en las aplicaciones y el comportamiento de los usuarios y aplicar esos conocimientos para ajustar las configuraciones de filtros de contenido, las listas de bloqueo y el diseño general de las aplicaciones.