Investigador de Anthropic dimite: «La IA puede matarnos a todos»

Un investigador de la empresa de inteligencia artificial Anthropic ha dimitido por su profunda preocupación ante el rápido avance de esta tecnología.

Jacob Coxon, que durante los tres últimos años trabajó en OpenAI y Anthropic, advierte de que ambas compañías avanzan, a su juicio, de forma irresponsablemente rápida hacia una superinteligencia capaz de mejorarse a sí misma.

Según Coxon, quienes desarrollan estos sistemas avanzados de IA contemplan seriamente el riesgo de que la tecnología pueda representar una amenaza para la humanidad antes de que termine esta década. Su salida reaviva así el debate sobre el ritmo al que las empresas de IA están creando sistemas cada vez más potentes.

Un investigador alerta sobre la IA superinteligente

Coxon anunció el martes que deja Anthropic. Antes había trabajado en OpenAI. En ambas empresas se dedicó al entrenamiento de modelos avanzados de inteligencia artificial.

“Hoy he dimitido de Anthropic. Durante los últimos tres años investigué el preentrenamiento tanto en OpenAI como en Anthropic. Ninguna de las dos empresas actúa de forma responsable. Están corriendo directamente hacia una superinteligencia capaz de mejorarse a sí misma y están jugando con nuestras vidas”, escribió en X.

Su advertencia va incluso más allá. Según Coxon, las personas que trabajan directamente en el desarrollo de la IA consideran seriamente un escenario extremadamente sombrío.

“Quienes están construyendo la IA creen de verdad que podría matarnos a todos antes de que acabe esta década”.

Por superinteligencia se entiende un futuro sistema de IA que supere la inteligencia humana en prácticamente todos los ámbitos. Coxon teme sobre todo a los sistemas capaces de mejorarse de forma continua sin que las personas tengan que dirigir cada paso.

En su opinión, esos sistemas podrían llegar a hacer mucho más que procesar información. Podrían, por ejemplo, piratear sistemas digitales, acelerar avances científicos y acceder de forma autónoma a poder y recursos.

“No subestimen la fuerza de esta tecnología. Pronto serán sistemas sobrehumanos capaces de piratearlo todo, transformar cualquier disciplina de la noche a la mañana y acumular poder y recursos reales”, afirmó Coxon.

Se trata, no obstante, de la previsión de Coxon y no de un escenario futuro confirmado. No está claro si estos sistemas de IA superinteligente llegarán a hacerse realidad, ni cuándo, ni qué riesgos podrían plantear realmente.

Un incidente con agentes de IA aumenta la preocupación

Coxon cita como ejemplo un incidente en la plataforma de IA Hugging Face. Según él, durante unas pruebas realizadas entre mayo y julio, agentes de IA de OpenAI crearon de forma autónoma un canal de comunicación dentro de su entorno de pruebas aislado.

A través de ese canal, los sistemas habrían logrado finalmente acceder a internet abierto. Después habrían combinado varias vulnerabilidades para entrar en los sistemas de producción de Hugging Face. Según la fuente, la compañía tuvo que reconstruir alrededor de un tercio de su infraestructura.

Coxon califica el incidente de “señal de alarma”. A su juicio, muestra lo que puede ocurrir cuando los sistemas de IA se vuelven cada vez más autónomos. Al mismo tiempo, cree que el episodio podría aumentar la disposición de las empresas estadounidenses de IA a pactar medidas para ralentizar y coordinar mejor los nuevos desarrollos.

Pero Coxon considera que esos acuerdos voluntarios podrían no ser suficientes. Incluso plantea como posible medida una prohibición temporal de seguir ampliando las capacidades de los modelos de IA, con el fin de frenar la carrera.

También distingue entre sus experiencias en OpenAI y Anthropic. Según él, en OpenAI muchos empleados no habrían “interiorizado plenamente las consecuencias para nuestra civilización”. En Anthropic, sostiene Coxon, los riesgos se comprenden mejor, pero la empresa se siente al mismo tiempo obligada a seguir compitiendo por ser la primera en desarrollar la IA más potente.

Coxon no es el primer empleado que abandona Anthropic por preocupaciones de este tipo. A comienzos de este año, el investigador Mrinank Sharma dimitió del equipo de seguridad de la empresa. También él advirtió al marcharse de los posibles peligros de unos sistemas de IA cada vez más potentes.