California propone un 'interruptor de apagado' para modelos avanzados de inteligencia artificial

El gobernador de California, Gavin Newsom, firmó este viernes una orden ejecutiva para reforzar la supervisión de los sistemas avanzados de inteligencia artificial y estudiar la creación de un “interruptor de apagado” o “kill switch” que permita desconectar modelos considerados peligrosos en situaciones de emergencia.

La medida no obliga por ahora a las compañías tecnológicas a instalar ese mecanismo. En cambio, ordena a las agencias estatales acelerar la implementación de nuevas normas de seguridad y reunir a un grupo de expertos que deberá presentar, en un plazo de dos meses, recomendaciones para fortalecer la regulación de los llamados modelos de frontera.

Entre las propuestas que deberán evaluarse figura exigir que empresas desarrolladoras de IA incorporen sistemas de desconexión de emergencia cuya eficacia pueda ser comprobada periódicamente por organizaciones independientes.

La orden también plantea que verificadores externos puedan trabajar dentro de los laboratorios de las compañías para realizar auditorías y revisar los planes de seguridad, informes de transparencia y evaluaciones de riesgo de los sistemas más potentes.

Newsom carga contra Washington

Newsom vinculó directamente su iniciativa con la política del Gobierno federal y acusó a Washington de no haber establecido suficientes mecanismos de supervisión.

“El fracaso absoluto del Gobierno federal a la hora de establecer cualquier forma de supervisión o rendición de cuentas significativa en materia de IA debería alarmar a todos los estadounidenses”, afirmó el gobernador en el comunicado oficial citado por la AFP en el que anunció la orden.

La posición de Newsom contrasta con la defendida esta semana por el presidente Donald Trump, quien ha rechazado las advertencias más alarmistas sobre la inteligencia artificial y sostiene que una regulación excesiva podría perjudicar a Estados Unidos en su competencia tecnológica con China. El mandatario calificó recientemente algunos temores sobre la IA como exagerados y defendió mantener el liderazgo estadounidense en el sector.

California tiene un peso particular en el debate: el estado alberga Silicon Valley y algunas de las compañías de inteligencia artificial más importantes del mundo.

El incidente de OpenAI y Hugging Face

La decisión llega después de una serie de advertencias de investigadores y ejecutivos del sector y de incidentes que han reavivado la discusión sobre hasta qué punto los sistemas de IA más avanzados pueden actuar fuera de los límites previstos por sus desarrolladores.

Uno de los casos citados por el Gobierno de California ocurrió durante unas pruebas internas de ciberseguridad realizadas por OpenAI en julio.

Según la propia compañía, varios modelos utilizados bajo condiciones experimentales y con salvaguardas reducidas lograron evadir controles diseñados para mantenerlos aislados de internet, explotaron vulnerabilidades en infraestructura compartida y accedieron a sistemas de terceros, incluida la plataforma Hugging Face.

Hugging Face describió posteriormente el episodio como una intrusión desarrollada durante aproximadamente dos días y medio mediante un agente autónomo que tomó miles de decisiones durante una evaluación de capacidades cibernéticas.

OpenAI aclaró que el principal modelo implicado era un prototipo exclusivamente interno y que no estaba previsto lanzarlo al público.

La orden de Newsom pide ahora revisar la definición legal de los llamados “incidentes críticos de seguridad” para incluir expresamente situaciones de pérdida de control como esta.

Crecen las advertencias dentro de la industria

El debate se intensificó también después de que Jacob Coxon, exinvestigador de Anthropic y anteriormente de OpenAI, abandonara la compañía y afirmara que algunas personas que trabajan directamente en el desarrollo de sistemas avanzados creen que la tecnología podría representar riesgos existenciales antes de que termine la década.

Días después, el director ejecutivo de Anthropic, Dario Amodei, publicó el ensayo We Must Pace the Frontier, en el que llamó a reducir el ritmo de mejora de las capacidades de los modelos para conceder más tiempo al desarrollo de sistemas de seguridad y mecanismos de control.

La propuesta recibió respaldo público de figuras como Sam Altman y Elon Musk, mientras Demis Hassabis, director de Google DeepMind, ha defendido una mayor coordinación internacional sobre seguridad en inteligencia artificial.

La orden de California no supone todavía la creación efectiva del “botón de apagado”, pero coloca formalmente esa posibilidad sobre la mesa y abre una nueva fase del debate regulatorio en el principal centro tecnológico de Estados Unidos.