La inteligencia artificial (IA) está transformando industrias, desde la medicina hasta la educación y los recursos humanos. Pero, ¿qué pasa cuando los algoritmos que deberían ayudarnos a tomar decisiones más justas y eficientes terminan replicando —e incluso amplificando— nuestros propios prejuicios? El caso de la herramienta de reclutamiento de Amazon es un claro ejemplo de los riesgos del sesgo algorítmico en sistemas de IA.
¿Qué ocurrió con la herramienta de Amazon?
En 2014, Amazon comenzó a desarrollar una herramienta basada en IA para agilizar el proceso de selección de candidatos para puestos técnicos, como desarrolladores de software. La idea era ambiciosa: automatizar la revisión de currículums y recomendar a los candidatos más prometedores. Sin embargo, en 2018 la empresa abandonó el proyecto después de descubrir que el sistema presentaba un sesgo importante contra las mujeres.
¿Por qué sucedió esto?
La IA fue entrenada con datos de currículums recopilados durante un período de 10 años. Como la mayoría de esos currículums provenían de hombres —reflejando el sesgo de género ya existente en la industria tecnológica—, el algoritmo aprendió a preferir características asociadas con candidatos masculinos. Penalizaba incluso palabras como «women’s», por ejemplo, en frases como «capitana del club de ajedrez de mujeres», e infravaloraba a candidatas que habían estudiado en colegios exclusivos para mujeres.
En otras palabras, la IA aprendió que «ser hombre» era un indicador de éxito, y ajustó sus recomendaciones en consecuencia.
¿Qué es el sesgo en la IA?
El sesgo en la inteligencia artificial ocurre cuando los datos con los que se entrena un sistema reflejan prejuicios históricos, sociales o culturales, y estos se trasladan a las decisiones del algoritmo. Puede manifestarse en diferentes formas:
- Sesgo de género
- Sesgo racial o étnico
- Sesgo socioeconómico
- Sesgo geográfico, entre otros
En muchos casos, este sesgo no es intencional, sino una consecuencia de usar datos del mundo real, donde la discriminación ya existe.
¿Qué podemos aprender de este caso?
Los datos importan: Los sistemas de IA solo pueden ser tan justos como los datos con los que se entrenan. Si los datos están sesgados, la IA lo estará también.
La supervisión humana sigue siendo clave: La automatización no debe eliminar el juicio crítico. La intervención humana es necesaria para auditar y corregir los errores de los algoritmos.
La transparencia es esencial: Empresas y desarrolladores deben explicar cómo se diseñan, entrenan y evalúan sus sistemas de IA, especialmente cuando afectan decisiones sensibles como la contratación.
Fuentes confiables para profundizar
Reuters – Jeffrey Dastin, “Amazon scrapped secret AI recruiting tool that showed bias against women”
The Guardian – “Amazon’s AI hiring tool showed bias against women”
Publicaciones académicas en Google Scholar con términos como “AI bias hiring Amazon” o “gender bias recruitment algorithms”.
