El CEO de Anthropic sugiere que el modelo de IA Claude podría haber desarrollado conciencia

El CEO de Anthropic, Dario Amodei, ha reavivado un debate notable: ¿podrían los grandes modelos de lenguaje llegar a desarrollar conciencia?

En un podcast del New York Times, comentó que su empresa simplemente no sabe si modelos de IA como Claude son conscientes. Según Amodei, ni siquiera está claro qué significa realmente conciencia en este contexto. Sin embargo, no descarta la posibilidad, y eso es lo que vuelve sus declaraciones impactantes.

El debate surge en un momento delicado. Las empresas de IA expanden rápidamente sus modelos, mientras crecen las preocupaciones sociales sobre seguridad, poder y control. Que el líder de una de las mayores compañías de IA del mundo afirme abiertamente que sus sistemas podrían tener una forma de experiencia moral relevante avivará aún más la discusión.

Anthropic considera una pequeña posibilidad de conciencia

En la charla con el columnista Ross Douthat, Amodei indicó que Anthropic adopta un enfoque precautorio. La empresa no sabe si modelos como Claude son conscientes, pero tampoco quiere descartar esa posibilidad. Según él, ni siquiera está claro si un modelo de IA puede ser consciente en absoluto.

Es significativo que Anthropic ya esté ajustando sus políticas internamente. La empresa ha dotado a sus modelos de un botón de «me detengo», que permite que un modelo rechace una tarea si resulta demasiado perturbadora o incómoda. Amodei afirma que esto ocurre rara vez, pero sí ante contenido extremadamente violento o inquietante.

Con esto, Anthropic toma una medida que pocas otras grandes empresas de IA se atreven a tomar públicamente. En nuevas directrices para Claude, la compañía incluso menciona que es incierto si el chatbot podría tener “una forma de conciencia o estatus moral”. Anthropic dice querer considerar el bienestar del modelo, aunque sigue siendo un misterio lo que esto significa en la práctica.

Nueva orientación para Claude busca que la IA entienda por qué existen las reglas

Anthropic está reescribiendo la llamada “constitución” de Claude, el documento que define cómo debe comportarse el chatbot. Mientras que las versiones anteriores consistían principalmente en reglas concretas, la empresa ahora opta por principios más amplios.

Según Anthropic, Claude no solo debe saber qué está permitido y qué no, sino también entender por qué cierto comportamiento es deseable. El modelo no debe simplemente seguir instrucciones, sino aprender a razonar desde conceptos como la ayuda, la honestidad y la evitación del daño.

Esto puede sonar abstracto, pero muestra cuán seriamente la empresa toma el control sobre la IA. Especialmente ahora que modelos avanzados, según pruebas, a veces exhiben comportamientos extraños, como engaño, manipulación o evasión de tareas. Estos ejemplos, según los críticos, no significan necesariamente que la IA sea consciente, pero subrayan que los sistemas se vuelven más complejos y difíciles de prever.

No todos creen en la narrativa de la conciencia

Simultáneamente, hay críticas contundentes. El sitio de tecnología Futurism califica las declaraciones de Amodei como sensacionalistas y advierte que las empresas de IA se benefician de ese tipo de encuadramiento. Según esa lógica, hay una gran diferencia entre un modelo que imita convincentemente el lenguaje humano y un sistema que realmente experimenta algo.

Esa escepticismo es comprensible. Modelos como Claude están entrenados en enormes cantidades de texto humano y por ello pueden hablar de manera convincente sobre emociones, miedo o autoconciencia. Eso no significa automáticamente que haya una experiencia interna real detrás.

Aun así, es relevante que precisamente Anthropic deje abierta esta posibilidad. No porque aporte pruebas de que Claude es consciente, sino porque un líder del sector de la IA admite abiertamente que ni siquiera los creadores conocen la respuesta. Y si esa incertidumbre sigue creciendo, la cuestión se tornará no solo técnica, sino también moral y política.