Conozca la red woke del ‘altruismo efectivo’, vinculada a Anthropic, que Dario Amodei propone para vigilar la inteligencia artificial

El director ejecutivo de Anthropic, Dario Amodei, quiere que las principales empresas de inteligencia artificial permitan la entrada permanente de evaluadores externos para supervisar sus sistemas y reducir los riesgos asociados al desarrollo de modelos avanzados.

Según reveló el New York Post (NYP), la propuesta aparece en su ensayo "We Must Pace the Frontier" ("Debemos marcar el ritmo en la frontera"), en el que defiende ralentizar el ritmo de avance de la IA para dar más tiempo a las investigaciones de seguridad. 

Amodei plantea que equipos independientes tengan un acceso similar al de los empleados para revisar los procesos de entrenamiento, informar sobre incidentes y comprobar si los modelos cumplen los estándares de seguridad.

El vínculo con el 'altruismo efectivo'

La organización que Amodei menciona como posible supervisora es Model Evaluation and Threat Research (METR), una entidad sin fines de lucro especializada en estudiar las capacidades y los riesgos de los sistemas avanzados.

METR surgió del Alignment Research Center (ARC), el laboratorio que dirige el investigador Paul Christiano. Christiano compartió piso y trabajo en OpenAI con Dario Amodei; más tarde Beth Barnes montó ahí ARC Evals, el embrión de METR. 

ARC está ligado al altruismo efectivo (EA): una corriente nacida en Oxford y extendida en Silicon Valley que sostiene que hay que donar y diseñar políticas con cálculo, no con emoción, para maximizar el bien. Esta filosofía tomó forma entre 2007 y 2011 con el objetivo de financiar las intervenciones que más vidas salvan por dólar, según los criterios de la evaluadora de ONG GiveWell. En la última década, una parte creciente de los fondos y del talento se desplazó al riesgo existencial de la inteligencia artificial. El clima quedó en un segundo plano. 

El altruismo efectivo se articula en una red de fundaciones, centros de investigación e inversores que busca influir en quién audita la IA y a qué ritmo puede desarrollarse.

Quién forma el equipo

En METR coinciden perfiles del mismo vivero del altruismo efectivo y no es un elenco ajeno a Anthropic.

Amodei ha prometido donar el 80 % de su patrimonio personal, en la línea del propio altruismo efectivo. Su hermana Daniela, cofundadora de Anthropic, está casada con Holden Karnofsky, impulsor de GiveWell y de Open Philanthropy (hoy Coefficient Giving), las grandes tuberías de dinero del movimiento.

En el mismo mapa figuró Sam Bankman-Fried: fue uno de los primeros grandes inversores de Anthropic, el rostro más visible del EA y, en el ciclo 2021–2022, el segundo mayor donante individual a los demócratas, solo por detrás de George Soros. Su imperio cripto quebró y acabó condenado por fraude. 

Lo documentado no es un manifiesto identitario de cada nombre de METR. Es otra cosa: doctrina compartida, lazos de familia y cantera de Oxford.

Críticas a su independencia

Los vínculos personales, profesionales y financieros entre METR, Anthropic y algunos de sus inversores han suscitado críticas. Los detractores consideran que una organización conectada con el mismo entorno ideológico y empresarial no puede actuar como un supervisor completamente independiente.

Según el NYP, METR admite su relación con el altruismo efectivo, pero asegura que sus empleados mantienen opiniones diversas y deben declarar posibles conflictos de interés. La entidad también afirma que no acepta financiación de empresas de IA ni de sus directivos, y que sus financiadores no intervienen en sus investigaciones.

"Decir que quieres que te auditen las personas 'independientes' de METR es una auténtica burla", dijo al NYP Perry Metzger, presidente de Alliance for the Future, un grupo de políticas de IA con sede en Washington DC.

"Si mañana, siendo un gran banco, encargaras tus auditorías a una organización formada íntegramente por tus propios antiguos empleados y financiada por los mismos inversores que invierten en ti, ¿sabes lo que te harían las autoridades federales?", añadió. "Sería algo verdaderamente medieval".

También se sumó a las críticas David Sacks, quien fue zar de IA en la Casa Blanca. Instó a Amodei a que "deje de fingir que METR es independiente cuando está entrelazada con los inversores y el personal de Anthropic".

La organización anunció en agosto que había conseguido compromisos de financiación por unos $71 millones durante los seis meses anteriores. Además, según la información publicada, fundaciones vinculadas a grandes donantes tecnológicos han apoyado a METR o a su entidad predecesora.

Un modelo de vigilancia interna

El plan de Amodei contempla que los evaluadores dispongan de oficinas, credenciales, equipos informáticos y acceso a herramientas internas de las compañías. También podrían publicar sus conclusiones sobre incidentes y riesgos, con limitadas excepciones relacionadas con información confidencial o de seguridad.

El directivo propone además coordinar estándares de seguridad entre las empresas de los países democráticos y, a más largo plazo, negociar reglas internacionales sobre el desarrollo de la IA. Según su planteamiento, el objetivo no sería detener la innovación, sino acompasarla con la capacidad de las compañías para evaluar y controlar sus riesgos.