Si vous avez déjà entendu parler de l’évaluation par les pairs, c’est probablement parce qu’il s’agit d’une étape cruciale du processus de publication des études scientifiques. Avant d’être accepté, tout article destiné à une revue sérieuse doit être révisé par des experts d’un domaine pertinent, qu’on appelle les « pairs ». Si ces évaluateurs confirment la validité des données et des conclusions, le texte sera publié et considéré comme valide jusqu’à preuve du contraire. Toutefois, si les membres du comité de révision détectent une erreur ou un manque de rigueur, l’article sera refusé ou devra être corrigé, puis soumis à nouveau et réévalué.
Le même principe s’applique à l’attribution des subventions de recherche. Des comités sont formés pour se pencher sur les dossiers de candidature présentés et retenir ceux considérés comme les plus méritants.
Or, tout important qu’il soit, le système d’évaluation par les pairs est loin d’être parfait, puisqu’il laisse place aux biais des évaluateurs. De nombreux travaux ont en effet mis en évidence le fait que les femmes, les minorités ethniques et les chercheurs travaillant dans des établissements peu reconnus ont tendance à obtenir de moins bons taux de réussite que les hommes blancs associés à des établissements prestigieux.
Beaucoup de revues scientifiques ont résolu ce problème en faisant analyser des versions anonymisées des articles reçus. Or, cette solution s’applique mal aux demandes de subventions, qui sont octroyées en tenant compte du niveau d’excellence du candidat. Cela nécessite de savoir ce que la personne a déjà accompli dans son domaine. Une option consisterait à faire l’analyse des dossiers en deux étapes : au premier tour, les évaluateurs jugeraient de la qualité des demandes sans en connaître les auteurs ; les dossiers les plus forts seraient ensuite analysés davantage en détail.
On voit cependant que, pour éliminer les biais, on serait forcé de compliquer le processus. Dans ce cas, pourquoi ne pas essayer une « loto-subventions » ?
Oser des subventions aléatoires
L’idée d’accorder les subventions de manière aléatoire parmi les demandeurs peut sembler radicale, mais elle n’est pas sans fondement. Les personnes qui ont souvent été invitées à évaluer des dossiers savent que, si le consensus est rapide au sujet des demandes de qualité supérieure et de celles qui sont vraiment trop faibles, les débats s’éternisent sur le « milieu de la pile », et plusieurs ont le sentiment (fondé) que le choix doit alors beaucoup au hasard de la composition du comité.
Pour éviter de perdre du temps à débattre à propos de cas limites et pour éliminer tous les biais associés à ces discussions, l’idée a fait son chemin de simplement attribuer un numéro aux demandes et de choisir les gagnants de manière aléatoire.
Certains ont déjà fait le saut. Le Conseil de recherche en santé de la Nouvelle-Zélande a décidé, en 2015, de jouer aux dés avec les demandes des chercheurs. Depuis, l’idée a été adoptée en Suisse par le Fonds national de la recherche, et des fondations privées ont fait de même.
Il existe bien sûr différentes façons de procéder. On pourrait tout simplement tirer des numéros parmi tous les dossiers reçus, mais dans la plupart des cas les organismes font un premier tri pour éliminer les demandes qui ne répondent pas vraiment aux critères. Le choix se fait ensuite au hasard parmi celles qui ont passé cette étape.
Les personnes favorables à ce système, et qui en ont profité, croient que cette approche assurera une plus grande diversité d’idées et de recherches sur des sujets considérés à tort comme marginaux ou pas assez à la mode. Elles font aussi valoir que ce système élimine les biais sur les caractéristiques des gens qui soumettent des demandes et sur les établissements auxquels ils sont affiliés.
Il est en effet certain que, par définition, un choix aléatoire reflétera la structure de la population des demandeurs. Par exemple, si les demandes sont soumises par 40 % de femmes et 60 % d’hommes, il est peu probable que les gagnants soient à 80 % des hommes et à 20 % des femmes.
Notons toutefois que cela pourrait quand même arriver à cause des lois du hasard, mais dans ce cas, la discrimination n’y serait pour rien ! S’il y a peu de subventions à octroyer, un score improbable risque plus de se produire que s’il y en avait beaucoup. Par analogie, quand on ne lance un dé que 3 fois, on a plus de chances d’obtenir toujours le même chiffre que si on le lançait 30 fois.
Une expérience à tenter
Il est certain qu’une loterie de la recherche ferait disparaître un phénomène central à toute activité scientifique : l’effet de concentration de la majorité des ressources aux mains d’une minorité. En effet, depuis des siècles, les subventions et les publications ne sont nullement distribuées de manière égale (ou « équitable », pour employer un mot à la mode) entre chercheurs et universités. On observe plutôt une distribution de type « 20/80 », selon laquelle seulement une minorité (environ 20 %) de chercheurs ou d’établissements obtiennent la majorité (environ 80 %) des octrois et produisent la majeure partie des publications.
Ce phénomène de concentration s’explique simplement : si l’on accorde davantage de ressources aux soi-disant « excellents » et à peu rien aux autres, il va de soi que les premiers vont, grâce à ces ressources renouvelées, devenir « de plus en plus excellents », tandis que les seconds, qui ne disposent d’à peu près rien, continueront à ne produire « à peu près rien » !
Le sociologue américain Robert K. Merton a nommé ce phénomène d’accumulation des avantages l’« effet Matthieu », d’après l’Évangile selon saint Matthieu qui affirme qu’« on donnera à celui qui a, et il sera dans l’abondance, mais à celui qui n’a pas, on ôtera même ce qu’il a ».
On devine sans peine que les chercheurs et les établissements habitués à accaparer l’essentiel des ressources voient d’un mauvais œil cette idée de loterie qui leur semble frôler l’hérésie ! Après tout, qui a dit (ou montré) que les qualités des chercheurs (imagination, originalité, persévérance et je ne sais quoi) étaient distribuées de façon uniforme ?
En fait, on ignore si c’est le cas, et le plus grand avantage de cette expérience radicale serait qu’elle nous permettrait de le tester. Si, après disons 10 ans de choix aléatoires, on ne voyait pas de différence dans la qualité des publications et des chercheurs en les comparant aux 10 années précédentes, alors on aurait en quelque sorte la preuve que les chercheurs se valent à peu près tous quand on leur donne les ressources pour qu’ils se réalisent.
Par contre, si on observait un déclin, il serait possible que ce qu’on continue à appeler « excellence » soit une denrée rare (même quand on la veut « inclusive ») que le hasard ne choisit pas souvent. Voilà un bon projet de recherche de sociologie expérimentale portant sur la recherche !
Si vous avez aimé cet article, pourquoi ne pas vous inscrire à notre infolettre santé ? Vous y lirez en primeur, tous les mardis, les explications toujours claires, détaillées et rigoureuses de notre équipe de journalistes et de professionnels de la santé. Il suffit d’entrer votre adresse courriel ci-dessous. 👇
Merci Monsieur Gingras!
Je ne suis pas toujours d’accord avec vos analyses, mais là je dois dire que l’idée d’attribuer par loterie une fraction des subventions de recherche (et pourquoi pas certains contrats gouvernementaux?), une fois des critères minimaux satisfaits, a le mérite de devoir être essayée.
Scientifiquement vôtre
Claude COULOMBE
Je suis entièrement d’accord. Trop de temps perdu en comités et en évaluations, pour donner finalement le plus gros à ceux qui reçoivent déjà. Le tri initial devrait tout de même retirer de la loterie les extrêmes: les dossiers qui font consensus en haut et en bas de la pile ne devraient pas être dans la loterie.