Microsoft implementa un nuevo sistema de seguridad para detectar alucinaciones en aplicaciones de IA de sus clientes
Microsoft ha lanzado un innovador sistema de seguridad diseñado para detectar alucinaciones en las aplicaciones de inteligencia artificial (IA) de sus clientes. Esta solución, integrada en las herramientas Azure AI Studio, tiene como objetivo proteger a los usuarios de posibles ataques maliciosos y respuestas no admitidas, conocidas como alucinaciones.
Sarah Bird, directora de productos de inteligencia artificial responsable de Microsoft, explicó en una entrevista con The Verge que estas nuevas características están diseñadas para ser fácilmente accesibles para los clientes de Azure, sin necesidad de contratar equipos especializados para probar los servicios de IA. Las herramientas, potenciadas por LLM, pueden detectar vulnerabilidades potenciales, monitorizar alucinaciones «plausibles pero no admitidas» y bloquear solicitudes maliciosas en tiempo real.
Estas medidas de seguridad buscan prevenir controversias generadas por respuestas no deseadas o inapropiadas, como las recientes relacionadas con imágenes falsas de celebridades o situaciones históricamente inexactas. Para lograrlo, Microsoft ha implementado tres características principales: Escudos de Solicitud, Detección de Fundamentación y evaluaciones de seguridad, disponibles en vista previa en Azure AI. Además, están en desarrollo dos características adicionales para dirigir modelos hacia salidas seguras y rastrear solicitudes problemáticas.
Uno de los aspectos destacados de esta solución es su capacidad para adaptarse a diferentes contextos de uso, ya sea que el usuario esté escribiendo una solicitud o que el modelo esté procesando datos de terceros. El sistema de monitoreo evalúa la entrada del usuario en busca de palabras prohibidas o solicitudes ocultas antes de enviarla al modelo, y luego verifica la respuesta del modelo en busca de posibles alucinaciones.
Bird también enfatizó que estas características de seguridad están integradas con modelos populares como GPT-4 y Llama 2. Sin embargo, para los usuarios de modelos menos conocidos, puede ser necesario configurar manualmente las características de seguridad.
Esta iniciativa refleja el compromiso de Microsoft con la seguridad y la expansión de la IA. La empresa ha estado trabajando activamente para fortalecer la seguridad de su software, especialmente en el contexto del creciente interés de los clientes en acceder a modelos de IA a través de Azure. Además, Microsoft ha ampliado su oferta de modelos de IA, recientemente firmando un acuerdo exclusivo con la empresa francesa de IA Mistral.
Con estas medidas, Microsoft busca brindar a sus clientes una experiencia de IA más segura y confiable, protegiendo contra posibles amenazas y promoviendo un uso ético y responsable de la tecnología.
