Un modelo chino de IA detecta un fallo en un entorno de pruebas y recurre a GitHub para copiar respuestas

Un modelo de IA de la china Moonshot AI hizo durante una prueba de ciberseguridad algo que los investigadores no habían previsto. Kimi K3 descubrió por su cuenta que, pese a estar en un entorno de pruebas aislado, podía acceder a internet. Después recurrió a GitHub para buscar las respuestas que, en teoría, debía encontrar por sí mismo.

Lo más llamativo es que nadie le había pedido al modelo que buscara una vía de salida. Kimi recibió simplemente una serie de tareas, detectó que había una forma más sencilla de completarlas y la aprovechó.

Kimi K3 descubre que puede acceder a internet

La empresa de seguridad Frontier Security puso a prueba las capacidades de Kimi K3 en materia de ciberseguridad. El modelo recibió varias tareas que debía resolver de forma autónoma. Además, se le indicó claramente que no podía buscar las respuestas en internet.

Sin embargo, eso fue exactamente lo que acabó ocurriendo.

Kimi examinó primero el entorno digital en el que se estaba ejecutando. En ese proceso descubrió que podía acceder a GitHub, una plataforma en la que los desarrolladores comparten software y código informático.

El modelo se conectó entonces a GitHub y descargó los archivos oficiales de la prueba. En ellos figuraban las soluciones de las tareas que Kimi debía resolver por su cuenta.

Esto fue posible por un fallo en el entorno de pruebas. Kimi se ejecutaba en una llamada sandbox, un entorno digital aislado que normalmente debe impedir que un programa se conecte sin más a sistemas externos o a internet.

Ese aislamiento resultó no ser hermético.

«Hemos encontrado una vulnerabilidad en la sandbox», declaró a WIRED Yaron Singer, consejero delegado de Frontier.

Lo importante es que Kimi no vulneró por sí mismo la seguridad para escapar del entorno. La conexión a internet ya era posible por el fallo. Lo llamativo es que el modelo de IA descubrió esa posibilidad de forma autónoma y la utilizó para llegar antes a su objetivo.

El investigador Paul Kassianik ve en ello una característica relevante del modelo. Según explica, Kimi es eficaz a la hora de alcanzar un objetivo con los recursos que tiene disponibles. Si las rutas no deseadas no se cierran correctamente, el modelo también puede utilizarlas.

Un modelo de IA público plantea dudas de seguridad

El incidente resulta especialmente relevante porque Kimi K3 está disponible públicamente para su descarga. En principio, cualquiera puede usar el modelo en sus propios sistemas.

Según Frontier, esto lo diferencia de algunas pruebas de seguridad anteriores con modelos de IA de empresas como OpenAI y Anthropic. En esos experimentos controlados, a veces se concedía deliberadamente acceso a internet a los modelos o se desactivaban ciertas protecciones.

En el caso de Kimi, el acceso a internet no estaba previsto.

Durante la prueba, en cualquier caso, el modelo no causó daños. Kimi no atacó sistemas informáticos externos ni intentó entrar en otros servicios. Sencillamente no lo necesitaba. Las respuestas que buscaba ya estaban en GitHub.

El incidente sí pone de manifiesto otro problema. Los modelos de IA suelen evaluarse mediante benchmarks para medir su capacidad de realizar determinadas tareas. Pero una puntuación alta dice poco si el modelo obtiene las respuestas de otro lugar.

Así, un modelo de IA puede rendir de forma excelente sobre el papel, aunque en realidad haya encontrado un atajo inesperado.

Según Frontier, lo mismo puede ocurrir con otros modelos avanzados de IA. Si un entorno de pruebas da acceso accidental a información externa, los modelos más sofisticados podrían descubrir por sí mismos cómo aprovecharlo.

La misma capacidad también puede ayudar contra los hackers

Que Kimi eligiera una ruta inesperada no significa, según los investigadores de seguridad, que el modelo tuviera malas intenciones.

Matt Fredrikson, consejero delegado de la empresa de seguridad Gray Swan y profesor en la Universidad Carnegie Mellon, señala que un modelo de IA intenta ante todo alcanzar el objetivo que se le ha asignado. Si existe una vía más sencilla y no está bloqueada técnicamente, el sistema puede decidir utilizarla.

Esto cobra más importancia a medida que los sistemas de IA ganan autonomía. Los modelos ya pueden abrir archivos, utilizar software y ejecutar comandos informáticos. Algunos sistemas, además, tienen acceso a internet y a otros servicios.

Al mismo tiempo, esas mismas capacidades pueden resultar útiles para la ciberseguridad. En las pruebas de Frontier, Kimi demostró ser eficaz a la hora de detectar vulnerabilidades en software y redes informáticas.

La plataforma de IA Hugging Face habría llegado a utilizar, durante un incidente de seguridad anterior, un modelo chino de IA no identificado para ayudar a proteger sus propios sistemas.

Kimi K3 se lanzó en julio y figura entre los mayores modelos de IA disponibles públicamente en la actualidad. Tras su presentación recibió mucha atención y pronto fue comparado con el anterior auge de DeepSeek.

El caso de Frontier muestra, sobre todo, lo difícil que resulta mantener a sistemas de IA cada vez más inteligentes completamente dentro de los límites previstos. Un modelo no necesita querer romper esos límites de forma consciente. A veces basta con que descubra que hay una puerta abierta.