L'intelligence artificielle d'Amazon n'aimait pas les femmes

En 2014, une équipe d'Amazon a mis au point une intelligence artificielle dont la mission était de sélectionner les meilleurs profils pour des postes techniques ou de développeurs logiciel. Pour construire son modèle de tri, cette intelligence artificielle a été « nourrie » par dix ans de CV reçus par le groupe pour ce type d'emplois. Seul problème : ces profils étaient dans leur grande majorité des hommes. Le robot a donc déduit que les femmes n'étaient pas aptes à occuper ces postes. Les notes de une à cinq étoiles attribuées par l'intelligence artificielle aux candidatures étaient donc biaisées.

Même avec des CV anonymes, le robot pouvait déterminer si un profil était féminin ou masculin, en analysant des mots-clé comme « présidente du club d'échecs » dans les loisirs du candidat, par exemple. Une des sources qui a révélé l'affaire à Reuters a ainsi décrit ce système : « [Amazon] voulait que ce soit un programme à qui l'on donne 100 CV, les cinq meilleurs seront ceux qui seront embauchés ». Le biais du robot contre les femmes a été détecté dès 2015 et corrigé. 

Amazon assure cependant n'avoir jamais utilisé cet outil autrement que pour des essais. Cette intelligence artificielle a été supprimée en 2017, l'entreprise ne pouvant pas savoir si elle avait d'autres « préjugés » provenant du modèle sur lequel elle s'appuyait. Cette histoire doit rappeler aux entreprises qui font appel au techniques d'apprentissage automatique que le facteur humain demeure essentiel…