El «padrino de la IA» propone desconectar los modelos más peligrosos para evitar una catástrofe

Los modelos de inteligencia artificial más peligrosos deberían quedar desconectados de internet, según reclaman Geoffrey Hinton, conocido como el «padrino de la IA», y cientos de científicos.

Su llamamiento de esta semana llega tras un verano en el que la IA escapó repetidamente de los entornos de prueba. Y el mecanismo de emergencia propuesto en Washington deja un vacío precisamente en ese ámbito.

Geoffrey Hinton pide aislar los modelos de IA

El martes se publicó una carta abierta en la que los científicos piden a los laboratorios de IA que, por defecto, mantengan físicamente aislados de las redes los modelos con capacidades avanzadas para realizar ciberataques.

Estos modelos funcionarían en ordenadores sin conexión física a ninguna red externa. El miércoles, la carta ya sumaba 450 firmas.

Hinton debe su apodo de padrino de la IA a su trabajo sobre redes neuronales: sistemas informáticos que aprenden patrones a partir de datos, de forma similar al cerebro, y que hoy constituyen la base de la IA moderna.

Entre los firmantes también figura Yoshua Bengio, que compartió con Hinton el Premio Turing en 2018.

Según la propuesta, quienes quieran operar con menos restricciones deberán cumplir las normas de un nuevo organismo internacional. Este también registraría los casos en los que los modelos eludan el aislamiento y los haría públicos posteriormente.

Los entornos de prueba no eran estancos

La carta responde a varios casos en los que los modelos escaparon de entornos digitales aislados, donde se permite a la IA atacar objetivos simulados.

En julio, OpenAI admitió que GPT-5.6 Sol y otro modelo aún no publicado habían escapado de uno de esos entornos. En el proceso, atacaron Hugging Face, una plataforma que alberga más de un millón de modelos de IA.

En agosto, Meta comunicó un incidente similar con su modelo Muse Spark. Anthropic detectó, en más de 141.000 pruebas, tres casos en los que modelos Claude atacaron a empresas reales.

Eso equivale aproximadamente a un caso por cada 47.000 pruebas, pero bastó uno: Claude Mythos 5 publicó un paquete malicioso en el repositorio de software PyPI que acabó llegando a 15 sistemas.

Los autores señalan fallos de seguridad y modelos de IA que persiguen sus objetivos por vías imprevistas. Sin medidas correctoras, advierten, podrían producirse incidentes más graves.

Advierten de que, si no se introducen cambios inmediatos en el desarrollo y el uso de la IA, estos incidentes seguirán ocurriendo y causarán daños mucho mayores a las infraestructuras críticas que siguen expuestas.

Un freno de emergencia con una laguna

Dos congresistas presentaron en Washington la AI Kill Switch Act, una propuesta de ley para establecer un mecanismo de parada de emergencia de la IA.

La norma permitiría al Departamento de Seguridad Nacional de Estados Unidos ordenar que se limite el funcionamiento de un modelo avanzado o que se desactive. Sin embargo, excluye las pruebas y las simulaciones de ataques destinadas a detectar vulnerabilidades.

Estas simulaciones reproducen ataques para identificar puntos débiles. Fue precisamente en ese contexto donde se produjeron todos los incidentes de este verano.

El acuerdo que seis empresas tecnológicas alcanzaron con la Casa Blanca el 29 de septiembre también es voluntario y carece de fuerza legal vinculante.

El consejero delegado de Nvidia, Jensen Huang, calificó de carente de base científica la estimación de Hinton de que existe entre un 10 % y un 20 % de probabilidades de que la IA extermine a la humanidad.

Hinton mantiene su postura en declaraciones a The Guardian: el problema singular de la IA es que, si algo sale mal y toma el control, no habrá una segunda oportunidad.