Se presentan los resultados del ‘Xenometer’, un proyecto de Inteligencia Artificial que identifica discursos de odio en redes sociales - Observatorio Español del Racismo y la Xenofobia

Dentro de las Jornadas internacionales ‘Inteligencia Artificial e Investigación Social: enfoques innovadores para el análisis de formas de antagonismo’ que reunió el 29 y 30 de abril en Pamplona a expertos internacionales para analizar el papel de la tecnología, se presentó proyecto de IA ‘Xenometer’ que identifica discursos de odio en las redes sociales.

Con la premisa de que la inteligencia artificial ya no solo recomienda contenidos o automatiza tareas, sino que también puede convertirse en una herramienta clave para detectar discursos de odio y anticipar conflictos sociales, investigadores y grupos procedentes de España, Estados Unidos, Colombia, El Salvador y Alemania que trabajan en el uso de la inteligencia artificial aplicada a la investigación social, con especial atención a fenómenos como la polarización, la xenofobia, la desinformación o la radicalización violenta, se presentaron en las jornadas trabajos interdisciplinares que buscan superar las fronteras académicas tradicionales para abordar con mayor rigor algunos de los principales desafíos que afectan a la convivencia social.

En un contexto marcado por la expansión de la inteligencia artificial, estas jornadas subrayan una idea clave: la tecnología no es neutral, pero puede convertirse en una herramienta decisiva para comprender y transformar la realidad social.

Un radar contra la xenofobia

En el transcurso de estas jornadas se dieron a conocer los resultados preliminares del proyecto ‘Xenometer’, un ambicioso proyecto internacional fundado en la Universidad de Cornell en Estados Unidos, en el contexto de la preocupación con la administración de Trump, que busca en Navarra entrenar sistemas de Inteligencia Artificial capaces de identificar mensajes xenófobos en redes sociales.

La iniciativa, en la que participan instituciones como la Cornell University, la UCA de El Salvador, la Universidad Cooperativa de Colombia e I-COMMUNITAS de la UPNA, funciona como una especie de “radar digital” que permite detectar patrones de odio, analizar su propagación y comprender mejor cómo se construyen estos discursos en entornos online.

Con una metodología que combina la tecnología del algoritmo con aplicaciones de ciencias sociales, el objetivo del ‘Xenometer’ va más allá de la investigación académica y pretende generar herramientas útiles para instituciones, medios y responsables públicos que necesitan comprender y combatir este tipo de dinámicas en tiempo real.

Antes de entrenar a la IA que se ocupe de detectar y evaluar los mensajes de odio, el equipo debe dedicarse a etiquetar 5.000 mensajes para que el algoritmo empiece a funcionar con fiabilidad. Para conseguir los mensajes aplican criterios diferentes. Uno de ellos es descargar los tweets de cuentas que hablan sobre migración, tanto en términos positivos como en negativos. También utilizan palabras clave relacionadas con la migración para encontrar ese tipo de mensajes.

Como explica Sergio García-Magariño, de la Universidad Pública de Navarra, “la idea es que el algoritmo analice el estado de la xenofobia en redes sociales y genere, mediante geolocalizadores y otros instrumentos, mapas en tiempo real de esa situación”.