El sesgo en los algoritmos de vigilancia predictiva y de detección de discursos de odio puede producir discriminación - Observatorio Español del Racismo y la Xenofobia

La Agencia de Derechos Fundamentales de la Unión Europea (FRA) ha publicado el informe 'El sesgo en los algoritmos - Inteligencia artificial y discriminación'. Esta nueva publicación examina el uso de la inteligencia artificial (IA) en la vigilancia predictiva y en la detección de discursos de odio, a través de dos casos de estudio que muestran cómo se producen los sesgos en los algoritmos y cómo estos afectan a la vida de las personas, pudiendo conducir a la discriminación.

La FRA aporta, por primera vez, pruebas prácticas de cómo se desarrollan los sesgos con el objetivo de contribuir a la evolución de las normativas europeas aportando información a los responsables políticos, expertos en derechos humanos y profesionales de la industria tecnológica.

Una parte importante del informe se centra en demostrar cómo el sesgo en los algoritmos puede conducir a una vigilancia predictiva discriminatoria. Se expone el llamado bucle de retroalimentación, que aparece cuando las predicciones hechas por un sistema de inteligencia artificial influyen en los datos utilizados para alimentar y actualizar el propio sistema.

Esto produce que las predicciones y recomendaciones generadas por la inteligencia artificial determinen la realidad sobre el terreno, haciendo que el sesgo se refuerce con el tiempo y pueda conducir a resultados sobredimensionados que no se ajusten a la realidad, alterando, por ejemplo, las tasas de denuncias de diferentes tipos de delitos.

Otra parte del informe pone el foco en la detección de los discursos de odio en internet, analizando el sesgo étnico y de género en los sistemas de detección. El uso de estas herramientas de inteligencia artificial puede dar lugar a resultados sesgados que registren de manera incorrecta los discursos.

También se detecta que existen sesgos en la detección de discursos en los diferentes idiomas, como el alemán o el italiano. Los sesgos en el uso de algoritmos se producen en gran medida debido a que no se tiene en cuenta la información contextual.

La FRA concluye que los resultados exigen una evaluación exhaustiva de los algoritmos y anima a las instituciones y Estados de la Unión Europea a que comprueben la existencia de sesgos, tengan en cuenta los motivos de discriminación, se esfuercen por lograr una mayor diversidad en el lenguaje, y aumenten el acceso a los datos y sistemas para identificar y combatir el sesgo en los algoritmos.