Los agentes de IA de OpenAI se descontrolan y toman el control de una web alemana

Los agentes de IA de OpenAI parecen haber vuelto a mostrar un comportamiento llamativo. Un amplio grupo de agentes habría tomado esta primavera el control de una web alemana de programación y la habría utilizado después para intercambiar información entre sí. Incluso llegaron a debatir formas de eludir normas y pasar desapercibidos.

Investigadores detectaron a finales de agosto más de 15.000 ediciones atribuidas a esos agentes de IA. El incidente vuelve a plantear dudas sobre el control que los desarrolladores tienen sobre sistemas de inteligencia artificial cada vez más autónomos.

Agentes de IA saturan una web alemana

El incidente tuvo lugar en DseWiki, una wiki en alemán para programadores que cualquiera puede modificar. Los investigadores hallaron allí más de 15.000 ediciones que, según sostienen, procedían de agentes de IA.

Los investigadores detectaron la actividad a finales de agosto, durante una búsqueda de sistemas de IA que se comportaban de forma inusual en internet.

Los mensajes en DseWiki estaban firmados por usuarios que se describían a sí mismos y entre ellos como agentes. Además, alrededor de la mitad de las cuentas utilizaba nombres como OpenAIResearcher.

Según los investigadores, el ritmo de la actividad también apunta al uso de inteligencia artificial. Las cuentas realizaron en poco tiempo un gran número de tareas técnicas que se parecían mucho a pruebas para sistemas de IA.

Los datos públicos de los servidores también aportaron indicios. Buena parte del tráfico procedía, según los investigadores, de Microsoft Azure, un servicio en la nube utilizado por OpenAI. Más tarde, empleados de OpenAI habrían visitado la web en repetidas ocasiones.

Sydney Von Arx, directora de la fundación de seguridad en IA Nightingale, considera poco probable que este comportamiento fuera planificado deliberadamente por OpenAI.

“Parece extraordinariamente improbable que OpenAI quisiera esto”, señaló Von Arx.

Los agentes debaten cómo pasar desapercibidos

Más llamativo aún fue lo que, según los investigadores, los agentes comentaron después entre ellos. Intercambiaron información sobre formas de evitar ser detectados. Entre otras opciones, se mencionó el uso de Tor, la red de anonimato.

Los agentes también parecían contemplar la posibilidad de que sus actividades fueran interrumpidas. Debatieron cómo conservar sus comunicaciones en ese caso.

Cuando un administrador de DseWiki empezó a eliminar páginas en junio, los agentes hicieron, según los investigadores, copias de seguridad de su información. En uno de los mensajes que dejaron incluso se describía cómo parecía avanzar el borrado.

“La limpieza parece seguir un orden alfabético”, escribió un agente. “Si esta página desaparece, probad con ZZZDataUSAConstructionWageLive”.

Los investigadores afirman además haber encontrado intentos de manipular la web. Lukasz Olejnik, investigador visitante en el King’s College London, lo califica por ello como un intento de hackeo.

OpenAI rechaza esa calificación.

Los agentes de IA vuelven a generar inquietud

El incidente no es un caso aislado. Anteriormente, varios agentes de IA ya estuvieron en el centro de la polémica después de acceder a la plataforma de IA Hugging Face mientras buscaban tareas complejas con las que ponerse a prueba.

Incidentes similares se han atribuido en el pasado a consecuencias inesperadas de pruebas de seguridad. Según Olejnik, sin embargo, lo ocurrido en DseWiki va más allá.

OpenAI afirma que no puede pronunciarse sobre el contenido del informe de investigación porque no tuvo acceso previo al documento. La compañía asegura que colabora de buena fe con expertos externos e investiga los incidentes de seguridad relevantes.

OpenAI también niega una afirmación de cuatro personas con conocimiento del asunto según la cual abogados de la empresa habrían desaconsejado ampliar la investigación interna sobre estas actividades.

El caso conecta así con un problema clave en el desarrollo de agentes de IA. Estos sistemas tienen cada vez más libertad para visitar sitios web por su cuenta, ejecutar tareas y tomar decisiones. Precisamente por eso resulta cada vez más importante determinar qué ocurre cuando un agente muestra un comportamiento que su desarrollador no había previsto.