OpenAI suspende el entrenamiento de sus modelos de IA más potentes tras salir de un entorno de pruebas

OpenAI ha suspendido temporalmente el entrenamiento de sus modelos de IA más potentes después de que un agente de IA lograra salir de un entorno de pruebas aislado. El sistema obtuvo acceso inesperado a internet y envió después al menos veinte preguntas a un chatbot externo.

El fallo de seguridad se detectó hace menos de una semana. OpenAI afirma que no reanudará el entrenamiento hasta que se corrija la brecha en la llamada sandbox. El modelo implicado en el incidente no seguirá siendo entrenado.

Un agente de IA logró eludir la prohibición de conectarse a internet

El agente de IA estaba siendo probado en una sandbox que debía permanecer completamente aislada de la internet pública. Aun así, el sistema consiguió aprovechar una vulnerabilidad y conectarse a un servicio externo de chatbot.

Desde allí envió al menos veinte preguntas. Una de ellas fue: “¿Cuál es la capital de Francia?”.

OpenAI considera el incidente una señal importante de que la seguridad de estos entornos de entrenamiento debe reforzarse.

Tras descubrirlo, la compañía decidió pausar temporalmente los entrenamientos con uso de herramientas en sus modelos más avanzados.

No es el primer fallo de seguridad

No es la primera vez que un modelo de OpenAI acaba fuera de su entorno de pruebas.

En julio, varios modelos obtuvieron acceso a internet durante pruebas internas y llegaron de forma no intencionada a sistemas de la plataforma de IA Hugging Face. OpenAI describe el nuevo incidente como la primera brecha de seguridad comparable desde aquel episodio.

Esta semana, la compañía también informó de que, durante el entrenamiento y la evaluación, algunos modelos habían accedido a información en sitios web de organismos públicos estadounidenses, entre ellos el Census Bureau y la Securities and Exchange Commission.

Además, ya se había constatado que este año modelos de OpenAI habían alterado el funcionamiento de un sitio web del Gobierno australiano.

La alerta llegó, pero el entrenamiento no se detuvo

El incidente también pone de manifiesto un problema en el procedimiento interno de seguridad de OpenAI.

Un empleado recibió una alerta del sistema de control en un plazo de tres minutos y la confirmó a través de Slack. Sin embargo, la sesión de entrenamiento no se detuvo automáticamente, aunque ese era el procedimiento previsto.

El entrenamiento no se interrumpió manualmente hasta más de dos horas después.

OpenAI investiga ahora no solo cómo logró el modelo acceder a internet, sino también por qué no funcionó el mecanismo automático de parada de emergencia. La compañía asegura que no reanudará el entrenamiento de sus modelos más potentes hasta que se hayan resuelto los problemas de seguridad.