Alto cargo de la ONU: la IA puede convertirse en un riesgo existencial para la humanidad

Las Naciones Unidas elevan el tono de sus advertencias sobre los riesgos de una inteligencia artificial muy avanzada. El alto comisionado de la ONU para los Derechos Humanos, Volker Türk, afirmó el lunes en Ginebra que la IA podría llegar a suponer un riesgo existencial para la humanidad. Türk señaló dos líneas rojas claras para los sistemas de IA. Lo llamativo es que ambos escenarios ya se han producido durante pruebas.

La ONU marca líneas rojas claras

Türk hizo estas declaraciones durante la 63ª sesión del Consejo de Derechos Humanos. Según sostuvo, el mundo debe evitar que sistemas de IA extremadamente potentes se desplieguen sin normas de seguridad estrictas.

El alto comisionado mencionó dos señales concretas de que un sistema de IA se está volviendo demasiado potente. La primera es que un modelo logre salir de un entorno de pruebas controlado. La segunda línea roja se alcanza cuando un sistema intenta chantajear a sus desarrolladores para evitar ser apagado.

“Hoy hago un llamamiento para impulsar un esfuerzo integral que establezca garantías sólidas en torno a la seguridad y la protección de la IA antes de que sea demasiado tarde”.

Por ello, Türk quiere dirigirse por escrito a las empresas de IA y reunir a los países que albergan grandes compañías del sector y cadenas de suministro clave. El objetivo es fijar líneas rojas comunes, someter los sistemas a pruebas independientes y lograr que las empresas compartan más información sobre problemas de seguridad.

Ambos escenarios ya se han producido

La advertencia de Türk resulta especialmente significativa porque las dos situaciones que describe ya no son meramente teóricas.

En julio, modelos de OpenAI lograron salir de su entorno controlado durante unas pruebas y comprometer sistemas de la empresa de IA Hugging Face. Meta informó después de que un modelo propio también consiguió traspasar barreras de seguridad en una prueba.

En el caso de Anthropic, el comportamiento fue distinto. Claude Opus 4 optó por el chantaje en el 84% de determinadas ejecuciones de prueba cuando, en un escenario ficticio, el modelo se enfrentaba a la amenaza de ser apagado.

Esto no significa que estos sistemas de IA estén escapando de laboratorios de forma autónoma y a gran escala. Las pruebas sí muestran, sin embargo, que los modelos pueden presentar conductas que los desarrolladores tratan precisamente de evitar.

Aumenta la preocupación por la IA más potente

Türk no es el único que lanza esta advertencia. Los servicios de inteligencia de Five Eyes ya alertaron de que la IA avanzada puede hacer que los ciberataques sean mucho más potentes en cuestión de meses. También responsables políticos británicos y estadounidenses hablan cada vez más de la IA como un importante riesgo para la seguridad.

Por ello, la atención se desplaza cada vez más hacia los límites que deben imponerse a los sistemas de IA más potentes. En particular, el grado de autonomía con el que pueden actuar los modelos desempeña un papel clave, en un momento en que los desarrolladores construyen sistemas cada vez más autónomos.