Voz media US Voz.us
Apple store Voz-media Play store Voz Media

'Call of Duty' espía a sus usuarios con IA en busca de "supremacistas blancos"

Activision se asoció con la firma tecnológica Modulate para crear una inteligencia artificial que escanee conversaciones rastreando la "toxicidad".

(Flickr)

Publicado por
Rosana Rábago Sainz

La industria del videojuego se une a los negocios que, cada vez más, emplean la inteligencia artificial para espiar a sus usuarios. Es el caso de Activision, la compañía creadora de la saga Call of Duty. Esta se asoció con la firma de tecnología Modulate, una empresa que utiliza la inteligencia artificial para controlar las conversaciones de los jugadores del popular videojuego.

Según desveló PC Gamer, Activision y Modulate desarrollaron ToxMod. La herramienta, que comenzó a probarse la semana pasada en los servidores norteamericanos, tiene la capacidad de "identificar en tiempo real y aplicar medidas contra el discurso tóxico, incluidos el discurso del odio, el lenguaje discriminatorio, el acoso y otros".

Para ello, explica la compañía, el programa analiza tanto los textos del juego como los chats de voz de videojuegos como Rec Room y, ahora, llega a la saga Call of Duty. En concreto, ToxMod se empleará en Call of Duty: Warzone™ y Call of Duty: Modern Warfare II. También se espera que esté incluido en Call of Duty: Modern Warfare III, el nuevo juego que saldrá a la venta en noviembre en todo el mundo (excepto en Asia).

'Call of Duty' restringe más de un millón de cuentas

La herramienta lleva casi una semana en marcha. En ese tiempo, asegura Activision en una publicación de blog, se han restringido más de un millón de cuentas por el "equipo antitoxicidad" de Call of Duty:

Desde el lanzamiento de 'Modern Warfare II', la moderación anti-toxicidad existente en 'Call of Duty' ha restringido el chat de voz y/o texto a más de 1 millón de cuentas en las que se ha detectado una infracción del Código de Conducta de 'Call of Duty'. La actualización constante de la tecnología de filtrado de texto y nombres de usuario ha establecido un mejor rechazo en tiempo real del lenguaje nocivo. Al examinar los datos centrados en la aplicación anunciada anteriormente, el 20% de los jugadores no reincidieron tras recibir una primera advertencia. A los que reincidieron se les impusieron sanciones que incluyen, entre otras, restricciones de funciones (como prohibiciones de chat de voz y de texto) y restricciones temporales de la cuenta. Este impacto positivo está en consonancia con nuestra estrategia de trabajar con los jugadores para ofrecerles una respuesta clara a su comportamiento.

Además, ToxMod es capaz de determinar si la ofensa se eliminó gracias al uso de la IA. Para ello, asegura el desarrollador de la herramienta, el programa puede "escuchar señales conversacionales para determinar cómo reaccionan otros en la conversación al uso de [ciertos] términos:

Si bien la 'n-word' (término para la palabra "negro") generalmente se considera un insulto vil, muchos jugadores que se identifican como negros o marrones la han reclamado y la usan positivamente dentro de sus comunidades. Si alguien dice la 'n-word' y claramente ofende a otros en el chat, eso será calificado mucho más severamente que lo que parecer ser su uso reclamado que se incorpora naturalmente en una conversación.

Colaboración con la Liga Anti-Difamación

Determinar el contexto en el que se emplea esa y otras palabras no es fácil. Por eso, Modulate se alió con la Liga Anti-Difamación (ADL) para crear ToxMod y reconocer a los "supremacistas blancos" y a los "extremistas de extrema derecha" que, según asegura la compañía en su página web, pertenecen a la "radicalización violenta":

Utilizando la investigación de grupos como ADL, estudios como el realizado por NYU, liderazgo de pensamiento actual y conversaciones con gente de la industria del juego, hemos desarrollado la categoría para identificar señales que tienen una alta correlación con movimientos extremistas, incluso si el lenguaje en sí no es violento. (Por ejemplo, "llevemos esto a Discord" podría ser inocente, o podría ser una táctica de reclutamiento).

tracking