Quand elle travaillait à Wall Street, l’analyste Cathy O’Neil a vu comment les algorithmes, ces « armes de destruction mathématique », organisent des pans entiers de la société. Avec des résultats aussi troublants qu’insidieux, comme en fait foi l’essai qu’elle en tire.
À Washington, raconte-t-elle, la réussite scolaire était un enjeu. En 2009, le maire a voulu évaluer la performance des enseignants. Une société a usé d’algorithmes se basant essentiellement sur les notes d’un élève d’une année à l’autre. Résultat : 205 enseignants ont été limogés pour incompétence alléguée.
Après coup, on a compris que des collègues avaient gonflé des résultats pour fausser les données. Pis encore, l’algorithme n’avait cure de critères comme le milieu social des enfants ou la façon dont l’enseignant faisait participer ses élèves. Il sacrifiait « une perception juste et profonde des choses sur l’autel de l’efficience ».
L’exemple vaut autant pour la crise financière de 2007. Devant des prêts immobiliers à risque regroupés sous forme de titres financiers, les algorithmes calculaient les très objectives possibilités de gains, au point que les agences de notation accordaient d’excellentes cotes à ces produits financiers. Les risques présentés, beaucoup plus subjectifs, ne faisaient l’objet d’aucune appréciation. L’effondrement de titres pourris par la racine était inévitable.
Derrière ces exemples, il y a l’obsession de la quantification. Autrefois outils, les modèles mathématiques sont devenus dogmes, parce qu’ils seraient objectifs et dépourvus des préjugés humains.
Rien de plus faux, répond Cathy O’Neil. Malgré leur réputation d’impartialité, les algorithmes sont plutôt « le reflet d’une idéologie et d’objectifs bien précis ». Car les critères analysés sont choisis par les humains, avec tous leurs déterminismes. Ainsi, des algorithmes conçus pour le recrutement, dont les paramètres ont été choisis par des hommes blancs, risquent de favoriser des hommes blancs. Un algorithme, dit-elle, n’est en fait qu’« une opinion formalisée en un code informatique ».
C’est d’autant plus inquiétant que les algorithmes se multiplient et évaluent déjà nos risques de maladie pour établir le prix de nos assurances. Notre score de crédit décide de notre taux d’intérêt à la banque, voire de notre admissibilité à un poste.
Le problème, dit Cathy O’Neil, c’est la transparence. Sauf pour les informaticiens qui les ont conçus, les modèles mathématiques restent résolument opaques.
Et la promesse de l’intelligence artificielle de permettre à la machine de peaufiner ses algorithmes par elle-même ne rassure pas. Si elle a été conçue sur des bases erronées ou discriminatoires, ne risque-t-elle pas de les approfondir plutôt que de les corriger ?
Avec un ton mordant, Cathy O’Neil fait un plaidoyer brillamment vulgarisé en faveur de l’esprit humain dans toute sa complexité. « Quoique souvent viciée, la prise de décision opérée par un humain possède une vertu essentielle. Elle peut évoluer. »
« On nous modélise en tant qu’acheteurs, en tant que (sur)consommateurs de télévision, en tant que patients, candidats à un prêt — y compris dans le cadre d’applications numériques auxquelles nous souscrivons gaiement —, mais tout cela est invisible à nos yeux. »
Algorithmes : La bombe à retardement, par Cathy O’Neil, Les arènes, 2018.
Cet article a été publié dans le numéro d’avril 2019 de L’actualité.
Je soupçonne cette dame de n’avoir jamais écrit une ligne de code de sa très passionnante vie. Elle semble associer un algorithme à une formule mathématique qui ferait ceci ou cela. Comme ancien programmeur-analyste, je sais qu’un algorithme ne fait rien.
Un algorithme sert à décrire comment des instructions (codes) doivent être structurées pour qu’un programme informatique fonctionne. Par analogie, on pourrait associer un algorithme à un livre de recettes. Une recette de gâteau donne les instructions pour faire un gâteau, elle ne fait pas de gâteau elle-même.
Autre exemple, quand les gens s’habillent, ils suivent un algorithme. Par instinct, un individu sait qu’il ne doit pas mettre ses souliers avant ses chaussons ou de mettre son pantalon avant son sous-vêtement. Il suit une procédure sur la façon de s’habiller. L’algorithme ne sera pas le geste de s’habiller, mais le processus qu’il doit suivre en s’habillant.
J’ai bien peur que c’est vous qui ne comprenez pas. Le code est le reflet direct de l’algorithme qu’il représente. Ainsi on peu utiliser n’importe quel langage de programmation pour appliquer un algorithme, c’est l’algorithme qui détermine ce que fera le programme. Ainsi pour prendre un exemple concret, quicksort qu’il soit écris en C++ ou en Java suivra la même procédure. Donc c’est l’algorithme qui détermine ce que fait le programme. Le langage utilisé n’est qu’un détail d’implémentation.
@jacques
Rien de ce que vous écrivez ne me contredit, relisez-moi. Votre explication complète la mienne. Sauf que, si c’est « l’algorithme qui détermine ce que fera le programme », il n’est rien s’il n’est pas traduit dans un langage informatique. Quand un programme opère, ce n’est pas l’algorithme qui s’exécute, mais les instructions, le code, du langage informatique. On ne devrait pas parler d’algorithmes qui exercent une action, mais de programmes.
Le texte laisse croire qu’un algorithme est une formule ou un modèle mathématique qu’on applique dans un langage informatique et qui s’exécute.
Vous parlez de procédure, mais c’était l’objectif principal de mon propos et le point essentiel de mon dernier exemple.
Correction :
Le texte laisse croire qu’un algorithme est une formule ou un modèle mathématique qu’on colle dans programme informatique et qui s’exécute.