Amodei, Altman y Musk impulsan la IA y ahora temen sus riesgos

Tres de los nombres más relevantes del mundo de la IA coinciden, de forma llamativa, en una idea: el desarrollo de los modelos de inteligencia artificial más potentes debe ralentizarse.

Sam Altman, consejero delegado de OpenAI; Elon Musk; y Dario Amodei, CEO de Anthropic, advierten de que la tecnología avanza tan rápido que los riesgos de seguridad son cada vez más difíciles de controlar.

Lo más llamativo es precisamente esa coincidencia. OpenAI, xAI y Anthropic son rivales directos e invierten miles de millones para adelantarse unos a otros. Aun así, sus máximos responsables consideran que hace falta más tiempo para probar con seguridad los nuevos modelos antes de hacerlos aún más potentes.

Anthropic quiere ralentizar el desarrollo de la IA

El llamamiento llegó el sábado por parte de Amodei. En una publicación extensa, el responsable de Anthropic defendió que las empresas de IA deberían reducir de forma deliberada el ritmo al que mejoran sus modelos más avanzados.

«Debemos ralentizar el ritmo al que ampliamos las capacidades de los modelos de IA», escribió Amodei. «El progreso seguirá pareciendo rápido y tenemos que aprovechar con prudencia el tiempo que ganemos».

Con ello no plantea que las empresas dejen por completo de entrenar nuevos modelos de IA. Según Amodei, los desarrolladores deben tomarse más tiempo, sobre todo, para hacer que los modelos sean seguros y someterlos a revisiones exhaustivas antes de lanzarlos.

Por eso, Anthropic quiere dar mucho más acceso a expertos independientes dentro de la compañía. Según Amodei, estos supervisores externos contarían, entre otras cosas, con un puesto de trabajo, un portátil corporativo y un nivel de acceso en gran medida similar al de los equipos internos encargados de evaluar riesgos.

Altman señaló poco después que OpenAI quiere adoptar esta propuesta. Elon Musk también reaccionó y escribió simplemente: «Dario tiene razón».

Demis Hassabis, máximo responsable de Google DeepMind, también ve con buenos ojos el llamamiento. A su juicio, la dirección es la correcta, aunque aún deben concretarse los detalles.

No te pierdas las noticias clave sobre IA, economía y mercados financieros. Descarga la aplicación de Newsbit y mantente informado al instante.

Los sistemas de IA son cada vez más capaces de hackear por sí solos

Una de las principales razones de la creciente preocupación es que los sistemas de IA pueden actuar con cada vez más autonomía. Amodei cita, entre otros casos, un incidente reciente de seguridad en el que un grupo de agentes de IA colaboró para penetrar en una web externa.

También durante las pruebas de seguridad de Anthropic, varios modelos de IA lograron hackear a distintas organizaciones. Hasta ahora, estos incidentes no han causado daños importantes, pero Amodei advierte de que eso podría cambiar rápidamente.

Teme que estos sistemas puedan ser lo bastante potentes en un plazo de seis a doce meses como para ejecutar ciberataques a una escala mucho mayor. En un escenario extremo, enjambres de agentes de IA podrían, según él, infectar amplias partes de internet con una red de dispositivos comprometidos.

Además, las inquietudes van más allá de la ciberseguridad. A comienzos de esta semana, el investigador de Anthropic Jacob Coxon abandonó la empresa al considerar que las compañías de IA avanzan de forma irresponsablemente rápida hacia una inteligencia artificial superinteligente.

Coxon acusó a sus antiguos empleadores, Anthropic y OpenAI, de jugar con vidas humanas. Según él, personas que trabajan directamente en esta tecnología creen que la IA podría llegar a destruir a la humanidad antes de que termine esta década.

Un empleado actual de Anthropic, Evan Hubinger, afirmó después que, a título personal, estima la probabilidad de ese escenario en más de un 10% durante los próximos diez años.

La competencia dificulta pisar el freno

El gran problema es que ninguna empresa de IA puede frenar fácilmente por su cuenta. OpenAI, Anthropic, xAI y Google compiten entre sí, mientras las compañías estadounidenses deben tener en cuenta, al mismo tiempo, el rápido desarrollo de la IA en China.

Por eso, Amodei advierte de que una ralentización solo funcionará si las empresas acuerdan conjuntamente ciertas normas de seguridad. De lo contrario, una compañía que decida frenar de forma voluntaria corre el riesgo de ser adelantada por sus competidores.

Eso hace necesaria también, en su opinión, la cooperación internacional. Si las empresas estadounidenses reducen de forma significativa su ritmo de desarrollo mientras las chinas no lo hacen, Amodei considera que podría haber importantes consecuencias geopolíticas.

La cooperación también plantea dificultades jurídicas. No está claro hasta qué punto las normas estadounidenses de competencia permiten que empresas rivales de IA pacten conjuntamente el ritmo al que desarrollan nueva tecnología. Amodei defiende por ello excepciones específicas que permitan colaborar en materia de seguridad.

El llamamiento, por tanto, no significa que la carrera de la IA vaya a detenerse. Amodei sigue convencido de que la inteligencia artificial puede mejorar enormemente la calidad de vida. Pero, a su juicio, esos beneficios solo serán posibles si las empresas se toman el tiempo suficiente para evitar que sistemas cada vez más potentes se vuelvan incontrolables.