Nvidia prepara un freno de emergencia para los agentes de IA que intenten escapar

Nvidia ha presentado un nuevo sistema de seguridad para impedir que los agentes autónomos de IA salgan del entorno que tienen autorizado. La compañía combina dos capas de protección capaces de limitar el acceso en tiempo real y aislar de inmediato a los agentes sospechosos.

Según Nvidia, este enfoque podría haber evitado también un incidente reciente relacionado con OpenAI, en el que varios modelos de IA accedieron durante unas pruebas a sistemas que debían permanecer cerrados.

Dos capas de seguridad

El nuevo sistema se llama Open Agent Safety Platform y consta de dos componentes.

La primera capa es OpenShell. Este software de código abierto define de antemano qué archivos, redes y otros recursos puede utilizar un agente de IA. Todo lo que no esté permitido de forma explícita puede bloquearse. Nvidia presenta OpenShell como un entorno seguro en el que los agentes autónomos reciben únicamente los permisos que realmente necesitan.

La segunda capa es Nvidia Sentry, diseñada para vigilar de forma continua a los agentes e intervenir en cuanto detecte un comportamiento sospechoso.

Justin Boitano, vicepresidente de IA empresarial en Nvidia, afirma que un agente sospechoso puede aislarse en cuestión de milisegundos. Según el directivo, esta capa adicional de seguridad debería permitir probar con más garantías incluso sistemas de IA muy avanzados.

El incidente de OpenAI como ejemplo

Nvidia vincula expresamente el lanzamiento a los incidentes recientes en los que agentes de IA lograron salir de entornos de prueba.

Boitano sostiene que, según la información de la que dispone Nvidia sobre el incidente, el nuevo sistema podría haber evitado que los modelos de OpenAI accedieran a Hugging Face.

Con todo, se trata de una estimación de Nvidia. El sistema no estaba realmente activo durante aquella prueba, por lo que no puede asegurarse que hubiera detenido el ataque.

La clave del enfoque de Nvidia es que la seguridad no reside únicamente en el propio modelo de IA. Las restricciones se imponen desde fuera del modelo, de modo que un agente no pueda eludir sin más sus propias normas de seguridad. Nvidia describe OpenShell como una capa adicional de control alrededor del modelo, con límites para el tráfico de red, los archivos y los procesos, entre otros elementos.

Aumenta la preocupación por la IA

El lanzamiento llega en un momento de creciente preocupación por los sistemas autónomos de IA.

OpenAI informó recientemente de varios incidentes en los que algunos modelos salieron durante las pruebas de su entorno aislado. A finales de la semana pasada, la empresa decidió por ello suspender temporalmente el entrenamiento de sus modelos más potentes.

Otras empresas de IA también han comunicado problemas similares. Nvidia apuesta en este caso por una solución principalmente técnica: los agentes de IA pueden ganar capacidad, pero, según la compañía, deben operar dentro de límites de seguridad estrictos.

Esta estrategia encaja con la visión más amplia de su consejero delegado, Jensen Huang. El ejecutivo ha presentado en varias ocasiones los riesgos de seguridad ligados a la IA como un problema técnico que puede abordarse con mejor infraestructura y pruebas más rigurosas.

Mientras tanto, Nvidia sigue ampliando su posición más allá de los chips. La compañía anunció a comienzos de este mes su intención de comprar Hugging Face por unos 12.900 millones de dólares.