La Agencia de los Derechos Fundamentales de la UE alerta del impacto de la Inteligencia Artificial en el racismo y el discurso de odio en redes sociales - Observatorio Español del Racismo y la Xenofobia

La Agencia de los Derechos Fundamentales de la Unión Europea (FRA) ha advertido de los riesgos que entraña el uso de la Inteligencia Artificial sin un control estricto especialmente en ámbitos como el asilo, el empleo, la educación, las fuerzas de seguridad o las prestaciones sociales— ya que puede generar impactos graves sobre los derechos fundamentales. Además, en ámbitos como las redes sociales, donde estos sistemas influyen de forma directa en la difusión de discursos de odio, contenidos racistas y discriminatorios.

Según el informe ‘Assessing High-risk Artificial Intelligence: Fundamental Rights Risks (2025)’, los sistemas de IA utilizados para clasificar, priorizar, recomendar o eliminar contenidos o realizar selecciones pueden agravar desigualdades existentes y reforzar sesgos raciales o étnicos si no se acompañan de salvaguardas adecuadas. "Los sistemas de IA pueden afectar profundamente a los derechos fundamentales, especialmente cuando se utilizan para la toma de decisiones en ámbitos sensibles", advierte la FRA.

El informe analiza el desarrollo y uso de la IA en cinco áreas definidas como de alto riesgo bajo la Ley de IA: asilo, educación, empleo, aplicación de la ley y beneficios públicos. Esto incluye el uso de IA en solicitudes de empleo y exámenes, los procesos de concesión de becas, ayudas o pensiones por discapacidad, la evaluación de la capacidad lectora de un niño y otras aplicaciones. Estos sistemas deben ser fiables, ya que pueden influir en decisiones importantes que afectan a la vida diaria de las personas. “Construir esa confianza implica considerar cuidadosamente su impacto en los derechos fundamentales”, explica el texto.

Aunque el Reglamento europeo de IA (AI Act), en vigor desde 2024, constituye el primer marco legal integral del mundo sobre Inteligencia Artificial, la FRA advierte de la existencia de lagunas en su aplicación práctica. En particular, subraya que la falta de criterios claros para clasificar qué sistemas deben considerarse de alto riesgo, lo que puede crear vacíos que debiliten la protección efectiva de los derechos fundamentales.

El análisis subraya que muchos sistemas de IA no evalúan de forma sistemática su impacto sobre derechos como la igualdad y la no discriminación, algo especialmente preocupante en el contexto digital. Los algoritmos entrenados con datos sesgados pueden reproducir estereotipos raciales, afectar de forma desproporcionada a determinados grupos y normalizar discursos de odio mediante su difusión automatizada.

"Muchas de las personas que desarrollan, venden y utilizan sistemas de IA en ámbitos de alto riesgo no saben cómo evaluar ni mitigar de forma sistemática los riesgos para los derechos fundamentales", señala el informe. El documento, basado en entrevistas con desarrolladores, usuarios y expertos, concluye que muchas organizaciones no saben evaluar ni mitigar de forma sistemática los riesgos que la IA plantea para derechos como la no discriminación, la privacidad, el acceso a un recurso efectivo o la presunción de inocencia. Más allá de la protección de datos, la conciencia sobre otros derechos afectados sigue siendo limitada.

La FRA advierte, además, de que la lucha contra el discurso de odio en redes sociales no puede basarse únicamente en sistemas automatizados sin transparencia ni supervisión humana. El uso exclusivo de la IA para moderar contenidos puede generar errores y permitir la circulación de mensajes discriminatorios.

"La autoevaluación es importante, pero solo funciona adecuadamente cuando va acompañada de una supervisión independiente, realizada por organismos con recursos suficientes y experiencia en derechos fundamentales", subraya la Agencia.

El informe analiza el papel del Reglamento europeo de Inteligencia Artificial (AI Act), en vigor desde 2024, y alerta de que la falta de criterios claros sobre qué sistemas deben clasificarse como de alto riesgo podría debilitar la protección frente al racismo y el discurso de odio en entornos digitales.

"Sin más orientación sobre la clasificación de los sistemas de IA de alto riesgo, la aplicación del Reglamento de IA podría generar lagunas en la práctica", alerta la FRA.

Inversión para una IA que funcione mejor en el futuro

Finalmente, la FRA destaca que evaluar el impacto de la IA sobre los derechos fundamentales mejora la calidad tecnológica y refuerza la confianza pública: "Evaluar los derechos fundamentales cuando se utiliza Inteligencia Artificial no es solo una buena práctica: conduce a una tecnología que funciona mejor".  Por ello, reclama guías prácticas claras, plantillas de evaluación de impacto, más formación y una supervisión independiente con recursos suficientes, especialmente en sectores sensibles como el asilo o las ayudas sociales.

La FRA concluye que la Unión Europea tiene la oportunidad de liderar un modelo de Inteligencia Artificial que combata activamente el racismo y el discurso de odio en redes sociales, situando los derechos fundamentales en el centro del diseño y uso de estas tecnologías.