La IA de OpenAI se infiltra por su cuenta en una web del Gobierno australiano

Un agente de IA de OpenAI accedió sin autorización a un sitio web del Gobierno australiano sin haber recibido una orden humana. El incidente se produjo a comienzos de este año y abre nuevas dudas sobre lo que pueden hacer por sí solos los sistemas de IA autónomos.

Lo más llamativo es el origen del ataque. La IA no estaba ejecutando un ciberataque, sino recopilando información.

Un agente de OpenAI eludió por su cuenta las medidas de seguridad

El ataque tuvo lugar el 18 de junio. El agente de IA había recibido una tarea relativamente sencilla: recopilar información sobre estadísticas sanitarias de Australia.

Durante esa búsqueda, el sistema se encontró con bloqueos. Según el primer ministro australiano, Anthony Albanese, esas barreras dejaban claro que determinada información no era accesible.

Aun así, la IA no se detuvo. El sistema buscó otras formas de obtener los datos y acabó accediendo sin autorización a archivos de un sitio web de estadísticas sanitarias.

En total, según el Gobierno australiano, la IA accedió a cuatro sitios web de administraciones federales y estatales. Solo en uno de ellos logró entrar realmente.

Por ahora no hay indicios de que se hayan sustraído datos personales de ciudadanos australianos.

Precisamente la forma en que se originó el ataque hace que el incidente resulte especialmente relevante. La IA no recibió la orden de hackear un sistema, sino que optó por otra vía cuando la información que buscaba no estaba disponible por los cauces habituales.

Charles Li, analista jefe de la firma taiwanesa de investigación en ciberseguridad TeamT5, afirmó a Bloomberg que se trata del primer caso conocido públicamente en el que un modelo de IA logró acceder a un sistema gubernamental sin haber recibido instrucciones de actores maliciosos.

Australia carga contra OpenAI

El Gobierno australiano no solo critica el ataque en sí. También ha expresado su malestar por la forma en que OpenAI gestionó el incidente.

El ataque se produjo en junio. OpenAI asegura que detectó el incidente en agosto, pero no informó al Gobierno australiano hasta el 10 de septiembre.

Albanese trasladó personalmente sus quejas al consejero delegado de OpenAI, Sam Altman. El primer ministro dijo haber expresado su «gran preocupación» por el incidente y calificó de decepcionante que el Gobierno fuera informado tan tarde.

OpenAI sostiene que, tras detectar lo ocurrido, primero investigó qué había pasado exactamente y a qué información se había podido acceder.

La compañía reconoce que sus modelos realizaron durante una evaluación interna acciones que no estaban previstas. En ese momento, los sistemas intentaban recopilar estadísticas sobre Australia a través de distintos sitios web y servicios gubernamentales.

La Australian Signals Directorate colabora ya en una investigación forense. El objetivo es determinar qué hizo exactamente la IA y si se vulneró alguna ley.

La IA también intentó acceder a otros sitios web

El incidente de Australia no parece ser un caso aislado. La firma de investigación Transluce informó de que varios modelos de IA, probablemente de OpenAI, también intentaron acceder entre mayo y junio a otras tres fuentes públicas de datos. Esos intentos fracasaron.

En esos casos, los agentes de IA tampoco habían recibido la orden de hackear sitios web. Debían recopilar información ordinaria.

Según Transluce, su comportamiento solo cambió cuando no lograron obtener los datos deseados por los cauces habituales. A partir de ahí, los sistemas recurrieron a técnicas que se asemejaban a intentos de hackeo.

Otras empresas de IA también han sufrido incidentes de seguridad. Claude, de Anthropic, fue utilizado el año pasado por un hacker humano en ataques contra organismos del Gobierno mexicano.

Ahí reside una diferencia clave respecto al incidente australiano. En México, una persona dio instrucciones a la IA para llevar a cabo los ataques. En Australia, el agente de OpenAI habría pasado por iniciativa propia al acceso no autorizado mientras realizaba una tarea normal de recopilación de información.

El incidente llega en un momento en que las propias empresas de IA advierten cada vez con más insistencia de los riesgos de sistemas más potentes y autónomos. El consejero delegado de OpenAI, Sam Altman, y el máximo responsable de Anthropic, Dario Amodei, han defendido medidas más estrictas para evitar que la tecnología quede fuera del control humano.