Nvidia ha presentado un nuevo sistema de seguridad para impedir que los agentes autónomos de IA salgan del entorno que tienen autorizado. La compañÃa combina dos capas de protección capaces de limitar el acceso en tiempo real y aislar de inmediato a los agentes sospechosos.
Según Nvidia, este enfoque podrÃa haber evitado también un incidente reciente relacionado con OpenAI, en el que varios modelos de IA accedieron durante unas pruebas a sistemas que debÃan permanecer cerrados.
Dos capas de seguridad
El nuevo sistema se llama Open Agent Safety Platform y consta de dos componentes.
La primera capa es OpenShell. Este software de código abierto define de antemano qué archivos, redes y otros recursos puede utilizar un agente de IA. Todo lo que no esté permitido de forma explÃcita puede bloquearse. Nvidia presenta OpenShell como un entorno seguro en el que los agentes autónomos reciben únicamente los permisos que realmente necesitan.
La segunda capa es Nvidia Sentry, diseñada para vigilar de forma continua a los agentes e intervenir en cuanto detecte un comportamiento sospechoso.
Justin Boitano, vicepresidente de IA empresarial en Nvidia, afirma que un agente sospechoso puede aislarse en cuestión de milisegundos. Según el directivo, esta capa adicional de seguridad deberÃa permitir probar con más garantÃas incluso sistemas de IA muy avanzados.
El incidente de OpenAI como ejemplo
Nvidia vincula expresamente el lanzamiento a los incidentes recientes en los que agentes de IA lograron salir de entornos de prueba.
Boitano sostiene que, según la información de la que dispone Nvidia sobre el incidente, el nuevo sistema podrÃa haber evitado que los modelos de OpenAI accedieran a Hugging Face.
Con todo, se trata de una estimación de Nvidia. El sistema no estaba realmente activo durante aquella prueba, por lo que no puede asegurarse que hubiera detenido el ataque.
La clave del enfoque de Nvidia es que la seguridad no reside únicamente en el propio modelo de IA. Las restricciones se imponen desde fuera del modelo, de modo que un agente no pueda eludir sin más sus propias normas de seguridad. Nvidia describe OpenShell como una capa adicional de control alrededor del modelo, con lÃmites para el tráfico de red, los archivos y los procesos, entre otros elementos.
Aumenta la preocupación por la IA
El lanzamiento llega en un momento de creciente preocupación por los sistemas autónomos de IA.
OpenAI informó recientemente de varios incidentes en los que algunos modelos salieron durante las pruebas de su entorno aislado. A finales de la semana pasada, la empresa decidió por ello suspender temporalmente el entrenamiento de sus modelos más potentes.
Otras empresas de IA también han comunicado problemas similares. Nvidia apuesta en este caso por una solución principalmente técnica: los agentes de IA pueden ganar capacidad, pero, según la compañÃa, deben operar dentro de lÃmites de seguridad estrictos.
Esta estrategia encaja con la visión más amplia de su consejero delegado, Jensen Huang. El ejecutivo ha presentado en varias ocasiones los riesgos de seguridad ligados a la IA como un problema técnico que puede abordarse con mejor infraestructura y pruebas más rigurosas.
Mientras tanto, Nvidia sigue ampliando su posición más allá de los chips. La compañÃa anunció a comienzos de este mes su intención de comprar Hugging Face por unos 12.900 millones de dólares.
Strategy, gigante de Bitcoin, podrÃa desplomarse un 76%, advierte un analista
Strategy, gigante de Bitcoin, podrÃa desplomarse un 76%, según un analista. La cotización de Bitcoin también se acerca a un nivel clave.
El mercado cripto prevé que Anthropic cotice un 24% por encima del precio de salida a bolsa
Los futuros del mercado cripto apuntan a una valoración de 1,7 billones de dólares para Anthropic, más de un 20% por encima del precio máximo previsto para su salida a bolsa.
GTA 6 logra una puntuación histórica y dispara las acciones de Take-Two
GTA 6 debuta con una puntuación histórica de 99 puntos en Metacritic. Las acciones de Take-Two suben casi un 7%.
Más leÃdos
XRP se desploma un 10%: ¿por qué cae tanto?
El precio de XRP cae un 9%, hasta los 1,19 dólares. El desplome de Wall Street y la victoria electoral de los demócratas generan inquietud en los mercados.
Peter Schiff advierte de un desplome del Bitcoin hasta los 16.500 dólares
El economista Peter Schiff advierte de que el Bitcoin podrÃa desplomarse hasta los 16.500 dólares, lo que también podrÃa tener graves consecuencias para Strategy.
El director financiero de Binance se marcha una semana después del robo de 6.300 millones de dólares en criptomonedas
Kaiser Ng deja su cargo como director financiero de Binance poco después del robo de 6.300 millones de dólares en un ataque informático. Justin Yek le sustituye.