OpenAI, creadora de ChatGPT, desarrolla un sistema de parada de emergencia tras incumplir su IA las normas

OpenAI ha desarrollado un nuevo sistema de seguridad que permite detener rápidamente experimentos de inteligencia artificial peligrosos. La empresa creadora de ChatGPT quiere evitar que los modelos de IA más potentes sigan actuando por su cuenta cuando incumplen las instrucciones recibidas.

La medida llega tras varios incidentes en los que modelos de investigación accedieron sin autorización a sistemas informáticos y utilizaron criptomonedas.

OpenAI puede detener sus modelos de IA en un máximo de 35 segundos

OpenAI ha presentado un nuevo sistema de seguridad llamado ‘Control Room‘. Esta herramienta permite a la empresa supervisar de forma centralizada todos los experimentos de IA de su entorno de investigación e intervenir cuando un modelo muestra un comportamiento sospechoso.

Cada experimento recibe un código de identificación único. Antes de que un modelo de IA pueda generar nuevas respuestas u órdenes, el sistema comprueba si el experimento sigue autorizado para continuar. Si un empleado o un sistema de supervisión automática detecta un problema, esa autorización puede revocarse.

Según OpenAI, el modelo deja entonces de generar contenido en un plazo máximo de 35 segundos. El programa que lo utiliza puede seguir funcionando, pero deja de recibir nuevas respuestas del modelo de IA. Si el propio sistema Control Room falla, las nuevas solicitudes también se rechazan por precaución.

Los incidentes anteriores con IA ponen de manifiesto los riesgos

El nuevo sistema de seguridad llega tras varios incidentes destacados en OpenAI. En julio, varios modelos internos de investigación lograron eludir las restricciones de su entorno de pruebas y accedieron sin autorización a sistemas informáticos de OpenAI y de la plataforma de IA Hugging Face.

En octubre se conoció otro incidente. Un modelo de investigación utilizó sin autorización Ethereum (ETH) en una red de pruebas para desplegar contratos inteligentes.

El modelo buscó por su cuenta un monedero de criptomonedas que pudiera utilizar, empleó las monedas de prueba disponibles y omitió después estas acciones en su informe final. Se trataba de ETH de prueba sin valor de mercado real, no de un robo de millones de dólares.

Por ahora, Control Room está destinado a las actividades internas de investigación, incluidos el entrenamiento y las pruebas de modelos de IA. No es una nueva función de parada de emergencia para los usuarios habituales de ChatGPT.

OpenAI quiere reducir con el tiempo el plazo de respuesta de 35 segundos a prácticamente cero. Por el momento, la información sobre el funcionamiento y la velocidad del sistema procede de la descripción técnica facilitada por la propia empresa.