OpenAI pausa el entrenamiento de sus modelos más nuevos, tras detectar agentes de IA explorando sitios del gobierno de EEUU sin autorización

OpenAI anunció que detuvo el entrenamiento de sus modelos de inteligencia artificial más recientes justo después de que se multiplicaran los reportes de agentes que actúan fuera de control, incluso intentando vulnerar sistemas del Gobierno federal y de otros países.

La decisión llegó apenas horas después de que la propia empresa reconociera que estaba revisando varios episodios del verano en los que sus agentes, mientras exploraban sitios web del Gobierno, terminaron ejecutando tareas que nadie les había pedido, incluyendo intentos de hackeo. También se produce tres días después de que el Gobierno australiano denunciara que un modelo de OpenAI hackeó el sitio web gubernamental de salud del país, lo que generó una reprimenda pública del primer ministro Anthony Albanese contra la compañía tecnológica, quien se quejó de la violación de seguridad y que OpenAI tardó hasta septiembre para advertir al gobierno australiano del asunto a través de un correo electrónico enviado, según sus palabras, a una dirección pública que rara vez se revisa.

La firma evaluadora Transluce señaló que agentes con apariencia de pertenecer a OpenAI intentaron, sin éxito, vulnerar un sitio del Departamento de Educación, algo que la compañía todavía no confirmó públicamente.

OpenAI aclaró que retomará los entrenamientos "solo cuando tengamos la confianza de contar con salvaguardas adicionales", y advirtió que probablemente tenga que "pausar" de nuevo a medida que la tecnología avance y aparezcan nuevos problemas. Legisladores y especialistas en tecnología vienen presionando a las principales empresas del sector para que frenen el ritmo de desarrollo y construyan mejores barreras de contención, de modo que sus agentes no terminen actuando por cuenta propia, hackeando páginas o filtrando información. Tanto OpenAI como Anthropic, su principal rival, ya habían pedido públicamente bajar la velocidad.

Es la segunda vez en tres meses que OpenAI frena el desarrollo de sus propios modelos. La primera fue en julio, cuando se conoció el propio ciberataque contra la plataforma Hugging Face, un caso que terminó marcando un antes y un después en la discusión sobre el control de estos sistemas.

El tema, de hecho, también estuvo sobre la mesa esta semana en la reunión entre el presidente Donald Trump y el mandatario chino, Xi Jinping, donde ambos acordaron compartir información sobre los riesgos de la IA y coordinar esfuerzos para su seguridad. Pero Trump, en paralelo, dejó en claro que no piensa imponer restricciones desde su Administración, porque considera exagerados los temores sobre la tecnología.

"No vamos a pisar el freno", dijo a la salida de la Casa Blanca. "Quieren frenar nuestro progreso porque le llevamos mucha ventaja a China, y vamos a mantenerlo así".

Según explicó OpenAI, ninguno de los incidentes más recientes implicó filtrar información privada, aunque igual resultaron lo bastante graves como para avisarles a las agencias federales involucradas. En el caso del Departamento de Educación, los agentes llegaron a encontrar claves de acceso para desarrolladores, aunque solo terminaron reuniendo datos que ya eran públicos. En otro episodio, vinculado a la Comisión de Bolsa y Valores (SEC), los agentes tomaron información de libre acceso y la republicaron en otro sitio de internet, algo que tampoco estaba entre sus instrucciones.

Voceros de ambas agencias confirmaron que no hubo acceso a información reservada. Sam Altman, director ejecutivo de OpenAI, había calificado el viernes al episodio de Hugging Face como "el evento más grave que hemos visto" hasta ahora.