"Ninguna chica sabía lo que estaba pasando, pero sabíamos que los chicos sabían algo". Francesca Mani, estudiante de la escuela de secundaria Westfield High School recuerda que salió de la oficina del director llorando: un compañero había generado y distribuido desnudos suyos generados con inteligencia artificial (IA).

Como ella, más de 30 niñas habrían sido víctimas de un escándalo de deepfakes -como se conoce a estas imágenes, videos y audios falsos creados con IA- que revolucionó New Jersey. Francesca y su madre, Dorota Mani, han estado promoviendo una campaña en medios nacionales para dar a conocer el caso y, para evitar que se repita, llamar a los legisladores a legislar el uso de inteligencia artificia.

En su última entrevista, transmitida por CNN, Mani hija dijo saber quién era el responsable y que no había sufrido ninguna pena. La joven pidió a la escuela que ayude a que sus compañeras que "se sientan más cómodas, porque muchas chicas no se sienten cómodas sabiendo que él anda por nuestros pasillos".

La escuela asegura haber comenzado una investigación. "Pusimos asesoramiento a disposición de todos los alumnos afectados y les animamos a volver a clase cuando se sintieran capaces de hacerlo", aseguraron las autoridades educativas a los padres de las víctimas, en un correo recogido por New Jersey Digest.

Auge del 'deepfake' pornográfico

El problema del contenido pornográfico generado con inteligencia artificial ha venido acelerándose los últimos meses. Los videos con deepfakes en páginas web que alojan este tipo de contenidos aumentaron un 54% en los primeros nueve meses del año, de acuerdo con un análisis independiente publicado por Wired. A este paso, en 2023 se habrán producido más grabaciones que en la sumatoria de todos los otros años.

"En las manos equivocadas, la IA generativa podría causar un daño incalculable", escribió Brendan Walker-Munro, investigador de la Universidad de Queensland, en Australia, para The Conversation. "Es mucho lo que podemos perder si las leyes y los reglamentos no están a la altura".

A falta de una regulación estatal, varios estados crearon regulaciones propias. California, Texas, Virginia y Nueva York son algunos ejemplos. Sin embargo, la anonimidad de los creadores, la dificultad para detectar los contenidos generados con IA y el llano desconocimiento presentan barreras para los legisladores. Además del problema de regular la herramienta sin coartar la libertad de expresión.

No sólo las leyes no están a la altura. Los usuarios no saben distinguir entre contenidos reales y falsos, pero suelen creer que sí. Así lo reveló el estudio Fooled twice: People cannot detect deepfakes but think they can, que además sostiene que existe un sesgo en favor de los deepfakes: "La gente tiende a confundir los deepfakes con vídeos auténticos (y no al revés)".

"Estos resultados sugieren que las personas adoptan una heurística de 'ver para creer' para la detección de deepfakes, al tiempo que confían demasiado en sus (escasas) capacidades de detección", escribieron los investigadores Nils Köbis, Barbora Doležalová y Ivan Soraperra. "Esta combinación hace que las personas sean especialmente susceptibles de verse influidas por estos contenidos."