Quand les scientifiques tournent le dos aux données probantes

Deux récents épisodes montrent que des scientifiques peuvent eux aussi remettre en cause des données probantes qui ne font pas leur affaire.

Crédit : Getty Images

Depuis plusieurs années, on entend parler de l’importance de se fonder sur des « données probantes » pour justifier toute décision de politique publique. En se basant sur des données scientifiques solides plutôt que sur des opinions ou des anecdotes, on pense ainsi augmenter les chances d’arriver aux résultats escomptés.

Le sujet est particulièrement d’actualité alors que le coronavirus nous force, comme société, à adopter de nouvelles stratégies, que ce soit pour contrer la maladie, éduquer les jeunes ou gérer les conséquences économiques de cette crise.

Des esprits cyniques diront que seuls les politiciens peuvent avoir intérêt à ignorer des données probantes, et que les « vrais » scientifiques, eux, ne les écartent jamais, car ils visent la vérité au-delà de leurs intérêts particuliers. Malheureusement, les choses ne sont pas si simples.

Il y a des cas où des chercheurs s’entêtent à considérer leurs propres intuitions fondées sur leur vécu, alors que ce genre de savoir local est souvent influencé par de multiples facteurs. On peut penser à l’efficacité de l’hydroxychloroquine contre le coronavirus, toujours défendue par le chercheur marseillais Didier Raoult, alors qu’elle a été battue en brèche par des études autrement plus solides que les siennes.

Mais même lorsqu’il s’agit de décider de politiques scientifiques, on découvre que des scientifiques peuvent remettre en cause des données probantes qui ne font pas leur affaire, comme en témoignent deux récents épisodes, passés plutôt inaperçus en dehors du monde de la recherche.

En science aussi on ne donne qu’aux riches

En mai 2017, les National Institutes of Health (NIH) des États-Unis ont annoncé qu’ils allaient modifier leurs critères de subvention de manière à plafonner le nombre de projets et le montant pouvant être attribués à un chercheur. Cette décision très importante visait à mieux financer les plus jeunes chercheurs, qui ont bien du mal à obtenir des fonds comparativement à leurs aînés plus chevronnés. L’écart est tel qu’un jeune ne peut compter obtenir sa première subvention à titre de chercheur principal indépendant qu’à l’âge de 40 ans ! Les NIH voulaient donc redistribuer les ressources à la manière de Robin des bois : enlever (pas de vol ici !) un peu aux plus riches chercheurs pour donner aux plus pauvres, qui sont aussi les plus jeunes.  

Les gestionnaires des NIH ont opté pour cette politique après avoir réalisé des analyses quantitatives détaillées de la productivité des chercheurs et de leur portée scientifique (mesurée par les citations reçues par les publications produites grâce à ces octrois de recherche). Les conclusions de ces analyses étaient claires : au-delà d’un certain seuil, investir plus dans les chercheurs d’expérience déjà bien financés est contre-productif.

Cela n’a rien d’étonnant, car à peu près tous les phénomènes économiques obéissent à de telles lois de rendements décroissants. Et qui peut croire que concentrer les ressources sur un tout petit nombre de personnes (et donc d’idées) peut maximiser la probabilité de générer des idées vraiment nouvelles et d’arriver à des percées scientifiques ?

Les « données probantes » ont donc montré que la décision de politique scientifique des NIH était justifiée. Les analyses estimaient alors que la nouvelle politique de financement toucherait environ 6 % des chercheurs des NIH, mais que l’argent épargné allait créer environ 1 600 nouvelles bourses pour de nouveaux chercheurs.

Un mois plus tard, les NIH ont pourtant fait volte-face. Ils ont renoncé à cette politique sous la pression de chercheurs d’expérience qui y auraient perdu au change et qui, pour plusieurs, occupaient des postes clés dans ces instituts. Aux « données probantes » analysées à l’échelle nationale, ces scientifiques de haut calibre ont opposé surtout des anecdotes et des intuitions, par exemple que la politique découragerait les collaborations entre laboratoires ou nuiraient aux laboratoires les plus productifs, ce qui nuirait à l’avancement des connaissances. Avec ces arguments spécieux, ils ont privilégié leur intérêt personnel et local au détriment des données probantes et nationales.

Les chercheurs canadiens préfèrent aller à Ottawa

L’autre histoire s’est passée à Ottawa, à une époque où les réunions virtuelles étaient rares. En 2016, les Instituts de recherche en santé du Canada (IRSC) ont annoncé qu’ils allaient changer le mode de réunion des évaluateurs chargés de déterminer quels projets soumis par des chercheurs allaient être financés. Plutôt que d’avoir lieu en personne à Ottawa, ces réunions allaient désormais être virtuelles, pour économiser des frais de déplacement et d’organisation. En 2017-2018 par exemple, 4,5 millions de dollars ont été consacrés à ces réunions, alors que ces montants auraient pu servir à la recherche plutôt qu’à l’administration.

Pour justifier ce changement, les IRSC ont réuni des données probantes pour évaluer l’effet possible de cette politique sur les décisions prises dans les réunions. Ils ont comparé les classements des dossiers soumis par les évaluateurs avant les réunions aux classements établis à la suite de ces réunions, et montré que les décisions restaient généralement inchangées. Autrement dit, les réunions en personne ne servent pas à grand-chose, à part à engloutir de l’argent.

Et pourtant, tout comme les NIH, les IRSC ont fait marche arrière, sous la pression de scientifiques qui estimaient que ces réunions à distance allaient altérer les résultats des évaluations. Une pétition a même été envoyée à la ministre fédérale de la Santé de l’époque, Jane Philpott, pour lui demander de bloquer la décision des IRSC, un organisme pourtant autonome dans les décisions prises par son conseil d’administration. Quelle ironie de la part de chercheurs, plutôt enclins à défendre leur autonomie face aux ingérences politiques !

Là encore, des anecdotes ont été mises en avant pour justifier le rôle essentiel que les discussions en personne joueraient dans l’évaluation des dossiers. Les pétitionnaires ont invoqué que les participants en ligne étaient distraits et n’analysaient pas sérieusement les dossiers. Cela n’était fondé sur aucune étude scientifique sérieuse du comportement réel des chercheurs réunis en ligne. L’idée que ces réunions en face à face pouvaient aussi avoir des effets néfastes sur l’évaluation des dossiers était passée sous silence.

Statistiques contre anecdotes

Ces deux histoires suggèrent que si les scientifiques aiment promouvoir des politiques « fondées sur des données probantes » dans tous les domaines, ils semblent moins désireux (ou capables) d’en faire autant en matière de gestion et de financement de la recherche scientifique, domaine qui les touche directement. Ce manque de cohérence est inquiétant.

Ainsi, malgré les données probantes qui montrent clairement les limites de la concentration des ressources entre les mains de quelques chercheurs, la rhétorique de l’excellence continue d’être largement prônée par les politiques de la recherche. Comme le dit le proverbe américain, « some have more money than brain », certaines personnes ont plus d’argent que de cervelle !

Laisser un commentaire

Pif! ça pue le pétrole à plein nez.

Comment camoufler les larrons de la science?
Réponse: On accuse tout le monde pour que personne ne soit responsable. Noyer le poisson comme on dit.

Par exemple comment camoufler les scientifiques à la solde d’Exxon qui nous ont menti depuis les années 70 à propos des effets négatifs sur l’humanité de l’extraction du pétrole.
La réponse est qu’on accuse tous ceux qui font la lumière sur cette géo-ingénierie, la plus stupide que l’humanité ait pu inventé, de scientifique machin ‘insérer votre épithète préférée ici’ comme les tabatières ont fait à propos de ceux qui parlaient de la relation du cancer et le tabac.

Par exemple l’industrie du transport par moteur à combustion qui ont tout fait pour camoufler leur pollution en nous mentant comme Volkswagen et leurs acolytes à propos du diésel.

Ou plus subtilement pour se donner un air scientifique en commanditant la CIRAIG/Total pour hum hum ‘étudier’ le cycle de vie des VE ZÉRO ÉMISSION
(serait-ce pour éviter qu’ils entravent le modèle économique des pollueurs qui permet de nous faire les poches à la pompe à fric?)

Beaucoup de monde ont mordu à l’hameçon en commençant par Radio Canada, organe de propagande d’un état pétrolier, capable de nous dire avec le plus sérieux du monde qu’un VE pollue autant.
Ils ont réussi à faire avaler des couleuvres même à ceux qui normalement font la promotion des VE, il faut le faire.
Tout ça pour dédouaner les vrais pollueurs.
Je modifierait votre phrase parachutée en anglais, les pollueurs ont plus d’argent que de cervelle.

Répondre

Évidemment les scientifiques sont des humains. Il faut faire la distinction entre les scientifiques individuels et la Science, ou consensus scientifique. Tout à fait d’accord avec l’auteur de ce point de vue. Par contre, je m’étonne de sa critique de la réaction des scientifiques canadiens sur la question des évaluations en ligne des IRSC à une certaine époque. Le problème c’est que l’organisme, pour justifier des décisions douteuses, avaient produits des données « probantes » sans doute un peu du même ordre que celles du Dr Raoult avec la chloroquine, visant essentiellement à prouver que leurs décisions étaient les bonnes! Pour avoir été sur les comités je peux dire que le système était devenu pour le moins douteux essentiellement à cause de mauvaises décisions politiques et administratives. Il y avait beaucoup plus dans les protestations des chercheurs canadiens qu’une dichotomie en ligne/en personne; c’est tout le système avec l’abandon des comités par sujet, etc. qui était remis en cause à ce moment. Les réunions en personne étaient devenues tronquées avec seulement une partie des évaluateurs présents, ce qui faisait en sorte qu’il était difficile de remettre en cause les évaluations préalablement effectuées en ligne. Tout ceci est plus complexe que ce qui est présenté par l’auteur qui en est certainement conscient. Je ne pense pas que ceci indique que la communauté scientifique canadienne est encline à rejeter des données probantes et, connaissant le sérieux de l’auteur, j’imagine que ce n’est pas ce qu’il cherchait à dire non plus .

Répondre

« Cela n’a rien d’étonnant, car à peu près tous les phénomènes économiques obéissent à de telles lois de rendements décroissants. » (Y. Gingras)

En fait, ce qui étonne, c’est de lire qu’en économie, des « lois de rendements décroissants » fonctionnent. C’est un mythe, un autre, démontré empiriquement. Car si la loi des rendements décroissants se vérifiait, les entreprises devraient vendre une partie de leur production à perte.

Répondre

Pour l’hydroxychloroquine, je vous inviterais à refaire votre devoir. Quant on pense que l’hôpital gérer par M. Raoul a un taux de mortalité inférieur aux autres régions françaises, c’est aberrant que vous osiez questionner les connaissances de cet home.

Répondre

J’abonde dans le même sens que vous à propos de Pr Raoult. Bien des journalistes et reporters ne connaissent pas l’histoire récente de l’ ABOLITION de hydroxychloroquine par une ministre française qui a réussi à faire passer la chloroquine comme TOXIQUE alors que ce médicament servait à traiter le paludisme depuis plus de 70 ans (son mari ayant des liens directs avec les grandes pharmaceutiques telles les Gilead de ce monde). Comme tout médicament, ces médicaments deviennent tous toxiques quand sur-utilisés ou mal utilisés (Ex: la morphine et autres opiacés) . Le Pr Raoult est LA sommité française dans le domaine de l’infectiologie, et tout à coup il serait devenu un charlatant ???

Vous citez l’entêtement du Pr Didier Raoult en exemple d’une science qui ne prend pas tous les faits en compte en s’accrochant à ses illusions. Quand vous aurez lu les quelques milliers de pages répertoriés dans une méta-analyse, on pourra bien voir que vous n’auriez pas dû vous fier à une première impression du mois de mars 2020. Voici le lien à cette méta-analyse: c19study.com

Répondre
Les plus populaires