« L'IA est biaisée » est devenu une phrase de conversation. Elle ne dit ni par quel mécanisme le défaut entre dans le système, ni à quel endroit on pourrait l'attraper. Les biais algorithmiques ne viennent pas d'un seul endroit, mais d'au moins trois, qui n'ont ni les mêmes causes ni les mêmes remèdes.
Première source : les données répètent des décisions passées
Un modèle apprend en repérant des régularités dans des exemples, comme l'explique notre guide de l'IA sans jargon. Ce qu'il apprend n'est donc pas « la réalité », mais l'enregistrement de ce que des gens ont décidé avant lui.
Le cas le plus cité reste celui d'Amazon. D'après l'enquête de Reuters d'octobre 2018, l'entreprise a développé à partir de 2014 un outil expérimental de tri de CV, entraîné sur une décennie de candidatures reçues dans un secteur très masculin. Le système a pénalisé les CV contenant le mot « women's » et déclassé les diplômées de deux universités féminines. Projet abandonné en 2017.
Trente ans plus tôt, la même mécanique était documentée. En 1979, un enseignant de la St George's Hospital Medical School à Londres écrit un programme reproduisant les choix du jury d'admission ; en 1982, ce programme assure le premier tri des dossiers. En février 1988, la Commission for Racial Equality conclut à une discrimination raciale, et l'éditorial du BMJ estime que jusqu'à 60 candidats par an, sur 2 000, ont pu perdre leur entretien pour leur sexe ou leur origine.
L'étiquette apprise n'était ni « bon médecin » ni « bon ingénieur », mais « a été convoqué en entretien » : une décision humaine, pas une mesure de compétence.
Deuxième source : le cadrage du problème
C'est la source dont on parle le moins et probablement la plus déterminante. Avant toute collecte, quelqu'un a choisi ce que le modèle devait prédire. Or la variable qui vous intéresse est presque toujours inobservable : on lui en substitue une, disponible.
L'étude de Ziad Obermeyer et ses coauteurs, publiée dans Science en octobre 2019, en donne la démonstration la plus nette. Un algorithme employé par des systèmes de santé américains sur des millions de patients devait repérer ceux nécessitant un suivi renforcé. Il ne prédisait pas la gravité de la maladie mais les dépenses de santé futures, variable propre et apparemment corrélée au besoin. Sauf qu'aux États-Unis on dépense moins pour les patients noirs à état de santé égal : l'algorithme en déduisait qu'ils étaient moins malades. Cible corrigée, la part de patients noirs orientés vers le programme passait de 17,7 % à 46,5 % (Science 366, 447-453).
Aucune ligne de code n'était fautive, aucune donnée n'était erronée. C'est la définition de la cible qui portait le biais.
La justice pénale présente la même faille : les outils de prédiction de récidive n'apprennent pas la récidive mais la réarrestation, qui dépend d'abord de l'intensité du contrôle policier. Devant un modèle « prédictif », demandez ce qu'on a mesuré, et à quelle distance de votre besoin.
Troisième source : les annotateurs
Beaucoup de systèmes reposent sur des étiquettes posées à la main. Ces étiquettes ne sont pas des faits, mais des jugements.
Maarten Sap et ses coauteurs ont examiné à la conférence ACL en 2019 plusieurs corpus de détection de discours haineux. Ils y trouvent une corrélation entre les marqueurs de surface de l'anglais afro-américain et les scores de toxicité attribués par les annotateurs, que les modèles entraînés dessus reproduisent : ces messages ont jusqu'à deux fois plus de chances d'être classés offensants. Informés du dialecte, les mêmes annotateurs les jugent nettement moins souvent offensants.
Le phénomène déborde les sujets sensibles. La même année, Geva, Goldberg et Berant montraient que sur des corpus produits par une poignée de contributeurs prolifiques, donner au modèle l'identifiant de l'annotateur améliore ses performances : une partie de ce qu'on prend pour « la tâche » est le style d'une petite équipe.
Cela vaut pour l'alignement des modèles de langue. Les auteurs d'InstructGPT, ancêtre direct des assistants actuels, indiquent avoir travaillé avec une quarantaine de sous-traitants recrutés via Upwork et Scale AI, et écrivent que ce groupe n'est pas représentatif des personnes qui subiront les effets de leurs modèles.
Retirer la variable sensible ne règle rien
L'approche intuitive consiste à supprimer le sexe, l'origine ou l'âge du jeu de données. Elle porte un nom, l'équité par l'ignorance, et ne fonctionne pas.
En cause, l'encodage redondant : dans un jeu de données un peu riche, l'information supprimée reste reconstituable à partir du reste. Code postal, prénom, établissement fréquenté, vocabulaire employé portent chacun une part de l'attribut qu'on croit avoir effacé, comme l'analysaient dès 2016 Barocas et Selbst dans Big Data's Disparate Impact.
On peut le chiffrer. Dans l'étude Bias in Bios, présentée en 2019 à la conférence ACM sur l'équité et la transparence, des chercheurs classent des professions à partir de biographies en ligne, puis recommencent après suppression des prénoms et des pronoms genrés. L'écart de taux de vrais positifs entre femmes et hommes reste corrélé à la proportion de femmes dans la profession : le coefficient passe de 0,85 à 0,74, il ne tombe pas à zéro. Un proxy n'a pas besoin d'être choisi pour agir, il lui suffit d'être disponible.
Ce qu'on sait mesurer, et ce qu'on ne sait pas
La mesure fonctionne quand on dispose des étiquettes démographiques, d'où l'utilité de l'audit externe. Joy Buolamwini et Timnit Gebru ont constitué en 2018 un jeu de test équilibré, puis relevé sur trois systèmes commerciaux de classification du genre des erreurs allant jusqu'à 34,7 % sur les femmes à peau foncée contre 0,8 % au maximum sur les hommes à peau claire. En décembre 2019, le volet démographique de l'évaluation NIST de la reconnaissance faciale mesurait, sur les algorithmes américains, des taux de faux positifs 10 à 100 fois supérieurs pour les visages asiatiques et afro-américains que pour les visages caucasiens. Ceux développés en Asie ne montraient pas ce creux.
Restent deux angles morts. Le premier est logique : vous n'observez jamais le sort des dossiers refusés. Un modèle de crédit ne saura jamais si les demandeurs écartés auraient remboursé, et vos données futures naissent de vos décisions passées.
Le second est juridique et structurant en Europe : mesurer un écart suppose la variable qu'on n'a pas le droit de collecter. La CNIL admet, dans ses recommandations de janvier 2016, des questions facultatives et auto-déclarées sur la nationalité ou le lieu de naissance, mais reste réservée sur un référentiel ethno-racial. Le règlement européen sur l'IA a tranché un point : son article 10, paragraphe 5 autorise exceptionnellement les fournisseurs de systèmes à haut risque à traiter des catégories particulières de données, à seule fin de détecter et corriger des biais.
💡 Trois questions avant de déployer un modèle qui trie des personnes
Que mesure la cible, et à quelle distance de ce qui vous intéresse ? Qui a produit les étiquettes, sur quels critères ? Quelle définition d'équité retenez-vous, et laquelle abandonnez-vous du même coup ? Ces questions se posent avant la première ligne de code, et c'est le premier point que nous examinons quand nous cadrons une automatisation de process avec de l'IA.
Le point décisif : des définitions d'équité mathématiquement incompatibles
Ce point est peu documenté en français, alors qu'il commande tout le reste. On l'énonce souvent comme un dilemme politique : c'est d'abord un résultat d'arithmétique.
Alexandra Chouldechova l'a établi en 2017 sur les outils de prédiction de récidive. Elle part d'une identité qui relie, pour un groupe donné, la prévalence p (part de cas positifs), la valeur prédictive positive VPP (parmi les personnes classées à risque, celles qui l'étaient), le taux de faux positifs TFP et celui de faux négatifs TFN.
TFP = p/(1-p) × (1-VPP)/VPP × (1-TFN)Ce n'est pas une hypothèse, c'est une conséquence des définitions. Les quatre quantités ne sont pas libres : fixez-en trois, la quatrième est déterminée. Si votre outil affiche la même VPP pour deux groupes, définition la plus naturelle de « le score veut dire la même chose pour tout le monde », et que la prévalence diffère entre eux, alors les taux de faux positifs et de faux négatifs doivent différer. Aucun réglage, aucun choix de modèle, aucune quantité de données n'y change rien (Chouldechova, Big Data 5(2), 153-163).
Kleinberg, Mullainathan et Raghavan ont démontré la même année un résultat plus général : sur un score de risque, la calibration par groupe et l'égalité des scores moyens dans chacune des deux classes ne peuvent tenir ensemble, sauf dans deux cas d'école, la prédiction parfaite ou l'égalité exacte des taux de base (ITCS 2017).
C'est la clé de la controverse la plus commentée du domaine. En mai 2016, ProPublica analysait les scores COMPAS de plus de 7 000 personnes arrêtées dans le comté de Broward, en Floride, puis suivies deux ans : 44,9 % des prévenus noirs classés à risque élevé n'ont pas récidivé, contre 23,5 % des blancs ; à l'inverse, 47,7 % des blancs classés à faible risque ont récidivé, contre 28,0 % des noirs. L'éditeur a répondu que son score était calibré : à score égal, la fréquence de réarrestation était identique dans les deux groupes.
Les deux camps avaient raison. Les taux de base différaient, 51 % de réarrestation contre 39 %, et l'identité ci-dessus interdisait de satisfaire les deux critères ensemble. Le désaccord n'était pas statistique mais normatif : lequel des deux échecs accepte-t-on ?
Une remarque pour finir, désagréable pour les vendeurs d'outils : Julia Dressel et Hany Farid ont montré en 2018 dans Science Advances que COMPAS, avec ses 137 variables, n'était pas plus exact qu'un classifieur à deux variables (âge et condamnations antérieures), ni que des participants recrutés en ligne sans compétence judiciaire. Avant de débattre de l'équité d'un modèle, vérifiez qu'il apporte quelque chose.
Ce qu'il reste à faire
Il n'existe pas de modèle sans biais, seulement des modèles dont on a nommé les arbitrages. Dans l'ordre : écrire la variable cible et sa distance au besoin réel ; documenter qui a produit les étiquettes ; choisir une définition d'équité et consigner celle qu'on sacrifie ; mesurer par sous-groupe quand le droit le permet, sur la sortie du système et non sur ses intentions ; garder un recours humain sur les décisions qui engagent une personne.
Le travail est plus lourd hors des marchés anglophones, où les jeux de données publics couvrent mal les langues, les noms et les usages locaux : le point revient dans notre état des lieux de l'IA au Maroc. Et si vous consommez un modèle par API, la responsabilité se déplace vers vos données et vos seuils, comme le détaille notre guide d'intégration de l'API OpenAI.
