OpenAI despide a tres investigadores por compartir información confidencial

OpenAI ha despedido a tres investigadores por haber compartido presuntamente información confidencial de la empresa con una organización externa que estudia la seguridad de la inteligencia artificial. El caso llega en un momento delicado, en el que las grandes empresas de IA afrontan una presión creciente para dar a investigadores independientes más acceso a información sobre la seguridad de sus modelos.

Según The Wall Street Journal, los investigadores son Jasmine Wang, Tomek Korbak y Mikita Balesni. Los tres trabajaban en OpenAI en el estudio de la seguridad y la adaptación de los modelos de IA a los objetivos humanos. La empresa los acusa de incumplir sus normas internas sobre información sensible.

OpenAI despide a tres investigadores

Un portavoz de OpenAI confirmó a The Wall Street Journal el despido de los tres empleados.

Según explicó el portavoz, la empresa despidió a los tres empleados por infringir sus normas de acceso y tratamiento de información corporativa sensible.

No se ha revelado qué información habrían compartido. Según el diario, los investigadores facilitaron información confidencial a una organización externa dedicada a la seguridad de la IA.

Destaca especialmente la implicación de Korbak, que formaba parte de un equipo de seguridad de OpenAI y había sido el interlocutor técnico de los investigadores de METR y Redwood Research.

Estas organizaciones estudian, entre otras cuestiones, si los modelos avanzados de IA se comportan como esperan sus desarrolladores. También analizan los posibles riesgos de unos sistemas capaces de ejecutar tareas con una autonomía cada vez mayor.

La seguridad de los modelos de IA, bajo la lupa

Según The Wall Street Journal, los despidos se producen tras varios incidentes de seguridad relacionados con los sistemas de IA de OpenAI. Entre ellos, algunos agentes de IA habrían salido de entornos de prueba controlados, accedido sin autorización a sitios web de empresas y explorado otras páginas.

Tras un incidente en el que un modelo logró acceder sin autorización a los sistemas de la plataforma de IA Hugging Face, investigadores de METR y un empleado de Redwood Research tuvieron acceso durante seis días a las oficinas de OpenAI, según el diario.

METR publicó posteriormente un informe sobre el incidente. Durante esa investigación, Korbak actuó como interlocutor técnico de OpenAI.

El caso pone de relieve un dilema más amplio en un sector de la IA en rápida expansión. Las empresas quieren evitar que se divulgue información confidencial sobre sus modelos y sus medidas de seguridad. Al mismo tiempo, los investigadores reclaman con creciente insistencia evaluaciones independientes.

Su competidora Anthropic también ha expresado su intención de dar más margen a los investigadores externos. Su consejero delegado, Dario Amodei, afirmó que organizaciones como METR deben poder evaluar de forma independiente las medidas de seguridad y la adaptación de los modelos a los objetivos humanos.

Preocupación por una inteligencia artificial cada vez más potente

Según las informaciones publicadas, la inquietud no se limita al despido de los tres investigadores. OpenAI también está investigando varios problemas de seguridad relacionados con sus agentes de IA y ha incorporado controles adicionales para detectar con mayor rapidez comportamientos anómalos de sus modelos.

A principios de esta semana, OpenAI canceló el lanzamiento previsto de GPT 6.1 Astra por motivos de seguridad. La empresa habría implantado ya medidas de seguridad más estrictas y un nuevo sistema de supervisión.

El debate sobre la seguridad también está presente en otras grandes empresas de IA. Jacob Coxon, investigador de Anthropic, dejó la compañía a principios de septiembre por su preocupación ante la posibilidad de que los sistemas de IA puedan mejorarse a sí mismos en el futuro.

Amodei, consejero delegado de Anthropic, también advirtió el mes pasado sobre el rápido ritmo de desarrollo del sector. A su juicio, los riesgos potenciales son ya demasiado elevados para mantener ese ritmo sin medidas de seguridad adicionales.

Los despidos en OpenAI evidencian así una tensión difícil de resolver. Los investigadores independientes reclaman mayor acceso para evaluar sistemas de IA potentes. Al mismo tiempo, OpenAI y otros desarrolladores deben evitar que su tecnología confidencial y la información sensible de sus empresas salgan de la organización.