C’est déjà commencé. Des systèmes d’intelligence artificielle sont employés par des banques pour les aider à décider à qui accorder des prêts. Des juges se fient à eux pour estimer le risque de récidive des prévenus et fixer leur peine en conséquence. Des recruteurs les utilisent pour repérer les candidatures les plus prometteuses.
On le sait, l’humain a du mal à se défaire de ses idées préconçues lorsqu’il doit porter le genre de jugement qui suppose de prédire le comportement d’une personne à partir d’informations limitées. Comment savoir si un client remboursera réellement son emprunt hypothécaire, si un criminel enfreindra la loi de nouveau, si une candidate est vraiment la meilleure pour le poste ?
L’avantage des machines (il s’agit en fait de programmes informatiques à la fine pointe), c’est qu’elles peuvent scruter de gigantesques bases de données, détecter les tendances qui s’y cachent et s’en servir pour générer des prédictions sur les nouveaux cas qu’on leur soumet, avec une acuité, une rapidité et une objectivité inégalables.
Du moins, c’est ce qu’on espère.
Les machines ne sont pas à l’abri des préjugés de ceux qui les conçoivent, bien au contraire.
Or, les spécialistes commencent à entrevoir la face sombre de l’intelligence artificielle. Les machines ne sont pas à l’abri des préjugés de ceux qui les conçoivent, bien au contraire. Elles les absorbent et les reproduisent.
C’est ce qu’on apprend dans une étude que vient de publier, dans la revue Science, une équipe de l’Université Princeton, au New Jersey. L’informaticienne Aylin Caliskan et ses collègues ont découvert qu’un populaire système d’intelligence artificielle, qui permet aux ordinateurs de comprendre le langage humain, entretient des stéréotypes sexistes et racistes.
Les chercheurs ont travaillé sur un type d’algorithme — appelé « plongement lexical » ou « word embedding », en anglais — qui est déjà utilisé dans toutes sortes d’applications, dont les moteurs de recherche et la traduction automatique. On lui fournit une quantité énorme de textes à analyser, et le programme s’en sert pour construire un modèle mathématique du langage, une sorte de cartographie qui représente les relations entre les mots. Des mots qui sont souvent employés dans les mêmes contextes, comme chien et chat, apparaîtront dans le même voisinage. (On dit aussi bien « je dois nourrir mon chien » que « je dois nourrir mon chat », mais on ne dit jamais « je dois nourrir mon balcon » ; le programme en déduira que les chiens sont plus proches des chats que des balcons.) C’est en détectant cette parenté entre les mots que l’algorithme dégage leur sens et apprend à interpréter le langage.
Les chercheurs ont demandé à une machine ainsi programmée de faire des associations de mots. Ils ont constaté qu’elle associe les noms de fleurs à des mots positifs (comme paix, paradis, cadeau), les insectes à des termes négatifs (comme maladie, poison, haine). Même chose pour les instruments de musique et les armes : le robot associe les premiers à des choses agréables, les secondes à tout ce qui est déplaisant. Jusqu’ici, rien d’étonnant.
C’est lorsque les chercheurs ont interrogé l’algorithme à propos des hommes et des femmes qu’ils ont vu émerger des aspects déroutants. La machine associe plus étroitement les mots féminins (femme, fille, sœur, mère) à des termes se rapportant à la famille (foyer, parents, enfants, mariage), alors qu’elle amalgame le masculin (homme, garçon, frère, père) au champ sémantique du travail (gestion, salaire, bureau, carrière). L’algorithme fait aussi un rapprochement entre les femmes et les arts, alors que les hommes, eux, sont considérés comme plus compatibles avec les maths, la science et la technologie.
Le robot n’a pas seulement une vision éculée du rôle des femmes et des hommes, il est aussi franchement raciste.
Le robot n’a pas seulement une vision éculée du rôle des femmes et des hommes, il est aussi franchement raciste. Alors qu’il associe les prénoms typiques des Américains blancs (comme Adam, Frank ou Nancy) à des mots évoquant le bonheur et l’amour, le programme associe ceux des Noirs (Jamel, Leroy ou Latoya, par exemple) à la saleté, au mal et à la violence.
Bien sûr, si les automates recrachent des stéréotypes aussi réducteurs, c’est parce qu’ils apprennent de nous. L’algorithme en question a été « entraîné » à l’aide d’un immense corpus de textes publiés dans Internet — de banales pages Web —, et c’est à partir de cette matière première en provenance des humains qu’il a assimilé ces raccourcis douteux. « Nos résultats indiquent que si on fabrique un système intelligent qui apprend suffisamment sur les propriétés du langage pour être capable de le comprendre et de le produire, il va aussi, par la même occasion, acquérir des associations culturelles historiques, dont certaines peuvent être répréhensibles », écrivent les chercheurs dans Science.
La transmission de préjugés toxiques de l’humain à la machine préoccupe de plus en plus les experts. « L’application aveugle de l’apprentissage-machine risque d’amplifier les biais qui sont présents dans les données », à moins que les robots ne soient explicitement programmés pour les éviter, préviennent Tolga Bolukbasi et ses collègues dans un article paru en 2016 dans le recueil Advances in Neural Information Processing Systems.
Cette équipe formée de chercheurs de Microsoft et de l’Université de Boston a elle aussi décelé des stéréotypes sexuels chez un robot conçu pour traiter le langage. Les chercheurs ont demandé à l’algorithme de compléter l’analogie suivante : l’homme est à la femme ce que le roi est à quoi ? « À la reine », a répondu l’automate. C’est exact. Mais voici d’autres équivalences que la machine a générées en réponse à des énigmes semblables. L’homme est à la femme ce que le chirurgien est à… « l’infirmière » ; ce que le programmeur informatique est à… « la femme au foyer » ; ce que l’architecte est à « la décoratrice » ; ce que le commerçant est à « la ménagère ».
Le féminin de chirurgien, faut-il le préciser, ce n’est pas infirmière. C’est pourtant ce que le robot a conclu après avoir avalé le vaste répertoire de textes qui lui a servi de base à l’apprentissage du langage. (L’algorithme, dans ce cas-ci, avait été entraîné à partir d’articles journalistiques puisés dans l’agrégateur Google News.)
Des clichés sexistes ont déjà contaminé le système de traduction automatique de Google.
Le phénomène a des répercussions bien réelles dans nos vies quotidiennes. Des clichés sexistes ont déjà contaminé le système de traduction automatique de Google, par exemple. On le constate lorsqu’on lui soumet des phrases dans des langues qui n’ont pas de genre grammatical, comme le turc, et que l’application doit choisir entre le féminin et le masculin dans sa traduction. Ainsi, « O bir doktor », une phrase sans genre en turc, devient « Il est médecin » en français, tandis que « O bir hemşire » devient « Elle est infirmière ». Dans l’ambiguïté, le stéréotype l’emporte.
Encore plus inquiétant, certains États américains mettent des algorithmes à la disposition de l’appareil judiciaire afin de guider les juges dans la détermination de la peine, entre autres. Une enquête de ProPublica publiée l’an dernier a révélé que ces programmes surestiment le risque de récidive des Noirs et sous-estiment celui des Blancs.
D’autres cas troublants pourraient se présenter à mesure que l’usage de l’intelligence artificielle se répand, dans le secteur du recrutement, notamment. Des robots conçus pour faire le tri parmi les candidatures pourraient reproduire la discrimination qui existe à l’embauche. Pourraient-ils donner une connotation négative à certains noms à consonance étrangère, par exemple, ou disqualifier les femmes qui postulent pour des emplois traditionnellement masculins ?
L’intelligence artificielle ne nous libérera pas de nos penchants discriminatoires. Pire, si on l’adopte sans réfléchir, elle pourrait même aggraver les injustices de notre société. La révolution ne sera pas robotisée. Ce sont nos cerveaux à nous qu’il faut reprogrammer.
Cette chronique a été publiée dans le numéro de juin 2017 de L’actualité.
