La professeure Karine Gentelet est titulaire de la Chaire Abeona-ENS-OBVIA en intelligence artificielle et justice sociale à l’Université du Québec en Outaouais. Lily-Cannelle Mathieu est candidate à la maîtrise en mobilisation et transfert des connaissances à l’Institut national de la recherche scientifique.
Les technologies d’intelligence artificielle ne peuvent pas être pensées en dehors de leur contexte social et politique, dans la mesure où elles en sont le produit et le reflet. Or, différents types de racisme sont malheureusement bien ancrés dans la société et reconnus comme tels. Par exemple, la Ligue des Noirs du Québec recense régulièrement des cas de profilage racial de la part des policiers.
Les systèmes d’intelligence artificielle (SIA), à l’instar de toute technologie, lorsque déployée dans la société, prennent appui sur un tissu social déjà biaisé ainsi que sur des rapports de pouvoir inéquitables. Dans le cas des SIA, cependant, ils ne font pas que les reproduire : ils les amplifient.
Pourtant, les SIA sont trop souvent présentés à tort comme étant neutres et objectifs, alors qu’ils excluent des populations racisées, les surreprésentent au sein de catégories sociales considérées comme « problématiques » ou fonctionnent inadéquatement lorsqu’ils sont appliqués à des personnes racisées.
De nombreux articles ont justement déjà montré que les SIA pouvaient avoir des applications discriminatoires dans des processus variés tels que de la surveillance policière, des diagnostics médicaux, des décisions judiciaires, des processus d’embauche ou d’admission scolaire, ou des calculs de taux hypothécaires.
Nous menons actuellement des recherches sur des initiatives numériques de justice sociale qui tendent à renverser certaines inégalités et injustices sociales. Dans le cadre de nos travaux, nous sommes amenées à analyser les conditions pour le développement d’initiatives qui respectent les besoins et soutiennent les communautés au sein desquelles ces technologies sont déployées. À ce titre, nous avons documenté les effets des technologies numériques et les revers sociaux, racistes et discriminatoires qu’elles peuvent entraîner sur des groupes qui ont été mis en marge de leur société.
Les différentes étapes menant au racisme et à la discrimination
Les SIA peuvent engendrer et amplifier des pratiques racistes et discriminatoires, car différents biais peuvent s’immiscer dans ces systèmes lors de leur conception, de leur développement, de leur déploiement et de leur utilisation.
Tout d’abord, la subjectivité, les valeurs, la position sociale, le vécu et les savoirs des gestionnaires, des développeurs et des ingénieurs de l’IA, de même que la culture organisationnelle dont ces personnes sont issues, influencent leur manière d’élaborer un SIA ainsi que son architecture technique. Souvent inconscients, les biais sociétaux et racistes déjà existants ont de fortes chances d’influencer le fonctionnement d’un SIA et de rendre ses données sortantes (output) ou ses « résultats » racistes. L’enjeu n’en est ainsi pas un de racisme individuel, mais de pratiques au niveau sociétal, qui, parce que répétées et amplifiées par des systèmes technologiques, augmentent la discrimination envers les personnes racisées.
Ensuite, un manque de diversité ou de représentativité ou encore des problèmes de discrimination historique teintant les données utilisées pour entraîner les systèmes d’IA (les training sets) peuvent contribuer à rendre ces systèmes racistes. Même si le caractère racial ou l’appartenance ethnique ne constituent pas des critères manifestes des bases de données, ceux-ci sont pourtant des facteurs déterminants de l’élaboration d’une base de données et de l’exclusion de certaines catégories de population.
À titre d’exemple, si un SIA de détection du cancer de la peau n’est pas entraîné avec suffisamment de photographies représentant des personnes ayant la peau foncée, le système discriminera ces gens en ne leur offrant pas de résultats médicaux efficaces précisément à cause de la couleur de leur peau.
Après l’étape de l’entraînement, un autre type de biais peut être repéré du côté des données entrant dans un SIA lors de son plein fonctionnement (les données d’input). Dans le cas des systèmes récursifs, dont le fonctionnement algorithmique s’autoactualise continuellement en évoluant selon les données qui y entrent, ce ne sont effectivement pas que les données d’entraînement qui peuvent leur conférer un caractère discriminatoire. Les autres données venant compléter le jeu initial de données d’entraînement durant l’utilisation d’un SIA, soit après son approbation et son lancement, peuvent elles aussi être teintées d’un manque de diversité ou de représentativité ou encore de discrimination historique, ce qui fait qu’elles contribuent également à rendre de tels systèmes racistes et discriminatoires.
Par exemple, en 2016, Microsoft a lancé Tay sur Twitter. La vocation de ce SIA était d’interagir avec les utilisateurs de la plateforme. Un groupe organisé d’internautes malintentionnés a profité des capacités d’apprentissage itératif du SIA en l’inondant de déclarations offensantes ou racistes. Tay a répété ces propos, et Microsoft a ainsi dû s’excuser et déconnecter le système après seulement 16 heures de vie publique.
La subjectivité des ingénieurs responsables d’étiqueter et de catégoriser les données et de donner des poids différenciés aux différentes données entrantes (input) lors de l’entraînement et du codage d’un système constitue un autre élément qui influencerait fortement le fonctionnement des SIA. La décision de conférer autant d’importance au code postal d’une personne qu’à ses antécédents criminels est un exemple de système de codage à poids non différencié pouvant entraîner des résultats ayant des effets discriminatoires au sein d’une IA de prévision policière.
Dans le même ordre d’idées, un manque d’implication humaine dans le réajustement des seuils d’acceptabilité des résultats des systèmes d’IA peut devenir une autre cause potentielle de racisme et de discrimination de ces systèmes. L’absence de jugement humain dans les procédures automatisées peut en effet générer ou amplifier des situations d’iniquité, de discrimination et de racisme.
Des réflexions et des modifications de pratiques sont de mise
Ces enjeux illustrent selon nous le besoin de réfléchir plus consciencieusement aux conséquences sociales des systèmes d’intelligence artificielle ainsi qu’à la nécessité d’imaginer des pratiques d’IA plus inclusives, et surtout non discriminatoires, puisque celles-ci peuvent effectivement porter atteinte à des droits fondamentaux.
Nous soutenons que l’instauration de normes robustes pour une diversité accrue dans le milieu de l’IA ainsi qu’une sensibilisation du milieu aux enjeux de racisme et de discrimination des SIA sont à ce stade essentielles. Mais plus encore, il est important de viser une meilleure explicabilité et une plus grande transparence des systèmes d’IA, afin que le racisme et les pratiques discriminatoires y prenant forme puissent être mieux compris et contrés.
Il est aussi nécessaire de mettre en place une gouvernance des données qui soit à la fois plus transparente, plus juste et socialement représentative des intérêts des parties prenantes, ce qui devrait inclure les citoyens et citoyennes, leurs représentants et la société civile. Nous plaidons enfin pour un cadre réglementaire contraignant, afin que les entreprises ou toutes autres entités qui conçoivent, déploient et utilisent ces systèmes se montrent responsables. Cela constitue, selon nous, un enjeu non seulement de justice, mais de démocratie.
Cet article est republié à partir de La Conversation sous licence Creative Commons. Lire l’article original.
Le programme qui gère les admissions des gens venant de pays d’Afrique francophone semble discriminer ces personnes voulant faire leurs études au Québec.