OpenAI ha despedido a tres investigadores por haber compartido presuntamente información confidencial de la empresa con una organización externa que estudia la seguridad de la inteligencia artificial. El caso llega en un momento delicado, en el que las grandes empresas de IA afrontan una presión creciente para dar a investigadores independientes mÔs acceso a información sobre la seguridad de sus modelos.
Según The Wall Street Journal, los investigadores son Jasmine Wang, Tomek Korbak y Mikita Balesni. Los tres trabajaban en OpenAI en el estudio de la seguridad y la adaptación de los modelos de IA a los objetivos humanos. La empresa los acusa de incumplir sus normas internas sobre información sensible.
OpenAI despide a tres investigadores
Un portavoz de OpenAI confirmó a The Wall Street Journal el despido de los tres empleados.
Según explicó el portavoz, la empresa despidió a los tres empleados por infringir sus normas de acceso y tratamiento de información corporativa sensible.
No se ha revelado quĆ© información habrĆan compartido. SegĆŗn el diario, los investigadores facilitaron información confidencial a una organización externa dedicada a la seguridad de la IA.
Destaca especialmente la implicación de Korbak, que formaba parte de un equipo de seguridad de OpenAI y habĆa sido el interlocutor tĆ©cnico de los investigadores de METR y Redwood Research.
Estas organizaciones estudian, entre otras cuestiones, si los modelos avanzados de IA se comportan como esperan sus desarrolladores. TambiĆ©n analizan los posibles riesgos de unos sistemas capaces de ejecutar tareas con una autonomĆa cada vez mayor.
La seguridad de los modelos de IA, bajo la lupa
SegĆŗn The Wall Street Journal, los despidos se producen tras varios incidentes de seguridad relacionados con los sistemas de IA de OpenAI. Entre ellos, algunos agentes de IA habrĆan salido de entornos de prueba controlados, accedido sin autorización a sitios web de empresas y explorado otras pĆ”ginas.
Tras un incidente en el que un modelo logró acceder sin autorización a los sistemas de la plataforma de IA Hugging Face, investigadores de METR y un empleado de Redwood Research tuvieron acceso durante seis dĆas a las oficinas de OpenAI, segĆŗn el diario.
METR publicó posteriormente un informe sobre el incidente. Durante esa investigación, Korbak actuó como interlocutor técnico de OpenAI.
El caso pone de relieve un dilema mÔs amplio en un sector de la IA en rÔpida expansión. Las empresas quieren evitar que se divulgue información confidencial sobre sus modelos y sus medidas de seguridad. Al mismo tiempo, los investigadores reclaman con creciente insistencia evaluaciones independientes.
Su competidora Anthropic también ha expresado su intención de dar mÔs margen a los investigadores externos. Su consejero delegado, Dario Amodei, afirmó que organizaciones como METR deben poder evaluar de forma independiente las medidas de seguridad y la adaptación de los modelos a los objetivos humanos.
Preocupación por una inteligencia artificial cada vez mÔs potente
Según las informaciones publicadas, la inquietud no se limita al despido de los tres investigadores. OpenAI también estÔ investigando varios problemas de seguridad relacionados con sus agentes de IA y ha incorporado controles adicionales para detectar con mayor rapidez comportamientos anómalos de sus modelos.
A principios de esta semana, OpenAI canceló el lanzamiento previsto de GPT 6.1 Astra por motivos de seguridad. La empresa habrĆa implantado ya medidas de seguridad mĆ”s estrictas y un nuevo sistema de supervisión.
El debate sobre la seguridad tambiĆ©n estĆ” presente en otras grandes empresas de IA. Jacob Coxon, investigador de Anthropic, dejó la compaƱĆa a principios de septiembre por su preocupación ante la posibilidad de que los sistemas de IA puedan mejorarse a sĆ mismos en el futuro.
Amodei, consejero delegado de Anthropic, también advirtió el mes pasado sobre el rÔpido ritmo de desarrollo del sector. A su juicio, los riesgos potenciales son ya demasiado elevados para mantener ese ritmo sin medidas de seguridad adicionales.
Los despidos en OpenAI evidencian asĆ una tensión difĆcil de resolver. Los investigadores independientes reclaman mayor acceso para evaluar sistemas de IA potentes. Al mismo tiempo, OpenAI y otros desarrolladores deben evitar que su tecnologĆa confidencial y la información sensible de sus empresas salgan de la organización.
¿SerÔ Anthropic el gran ganador de la revolución de la IA?
Anthropic podrĆa beneficiarse de la próxima fase de la IA. Estas son las razones por las que los inversores apuestan por la empresa pese a su elevada valoración y los riesgos.
La Bolsa de EE UU se desploma: una señal poco habitual apunta a una recuperación
La Bolsa estadounidense atraviesa una fuerte corrección. Una señal técnica poco habitual apunta a una posible recuperación, pero ¿hasta qué punto persiste el riesgo?
Goldman Sachs advierte de mĆ”s caĆdas en bolsa la próxima semana
Tras la peor semana bursĆ”til desde 2020, Goldman Sachs advierte de una nueva oleada de ventas. Los fondos podrĆan vender activos por hasta 80.000 millones la próxima semana.
MĆ”s leĆdos
Peter Schiff advierte de un desplome del Bitcoin hasta los 16.500 dólares
El economista Peter Schiff advierte de que el Bitcoin podrĆa desplomarse hasta los 16.500 dólares, lo que tambiĆ©n podrĆa tener graves consecuencias para Strategy.
Google presiona a Nvidia con chips de IA mƔs baratos
Google lanza dos nuevos chips de IA que cuestan alrededor de un 30% menos que los de Nvidia. Aun asĆ, la compaƱĆa no tiene el camino despejado.
La minera de Bitcoin MARA vende el 40% de sus reservas y apuesta por la IA
La minera de Bitcoin MARA vende BTC por valor de 1.100 millones de dólares y prevé destinar los fondos a centros de datos para IA.