Tout au long d’une campagne électorale, je dois rappeler aux lecteurs, aux politiciens et aux journalistes que la tâche des analystes de sondages comme moi est de naviguer à travers la cacophonie des cabales et de reconnaître, dans tout le brouhaha électoral, les éléments significatifs qui se dégagent des données. Il nous serait impossible de calculer des projections de sièges qui collent à la réalité (sauf par un coup de chance, évidemment !) sans sondages de qualité.
En comparant les derniers sondages nationaux qui ont été rendus publiques, notons que les deux sondeurs québécois, Léger et Segma Recherche, auront obtenu les meilleurs résultats du lot. 
Les appuis à la Coalition Avenir Québec (CAQ) ont généralement été bien estimés par les sondeurs, à l’exception évidente d’EKOS et de l’Institut Angus Reid. De son côté, la maison Léger a mesuré les appuis de la CAQ à 38 % au niveau national, alors que le parti de François Legault a récolté 41 % des suffrages, soit tout juste à la limite de la marge d’erreur d’un sondage de 1 000 répondants.
En utilisant les données ci-dessus, le modèle Qc125 a calculé, la veille de l’élection, les projections du vote populaire suivantes :
Sur le graphique ci-dessus, les bandes colorées représentent les intervalles de confiance de 95 % dans lesquels on attend le résultat, et les points noirs, eux, indiquent les résultats pour chaque parti. Nous remarquons que toutes les formations ont terminé bien à l’intérieur des écarts projetés. Encore une fois, sans sondages de qualité, une telle projection serait impossible.
Grâce à ces données de qualité, le modèle Qc125 a correctement identifié 118 des 125 gagnants lors de l’élection d’hier soir, soit un taux de réussite de 94,4 %.
Parmi les sept circonscriptions où le modèle n’a pu prédire le gagnant, nous en dénombrons cinq qui pouvaient être qualifiées de « pivots », c’est-à-dire que la bonne fortune pouvait tomber d’un côté comme de l’autre, et deux « enclins », où la confiance envers la prédiction du gagnant était plus faible. L’élu a été correctement prédit dans toutes les circonscriptions « probables » (18) et « solides » (80).
Toujours parmi les gagnants incorrectement identifiés, seuls Catherine Blouin pour la CAQ dans Bonaventure, Joël Arseneau pour le PQ dans Îles-de-la-Madeleine et Suzanne Tremblay pour la CAQ dans Hull se trouvent à l’extérieur des intervalles de confiance.
Je ne cacherai pas mon immense satisfaction quant à la performance du modèle lors de cette élection. Même si le grand gagnant semblait bien connu depuis longtemps grâce à l’avance monstrueuse qu’il détenait dans tous les sondages publiés depuis quatre ans, plusieurs courses locales demeuraient chaudement disputées.
J’aimerais remercier l’ensemble des lecteurs et lectrices qui ont suivi cette chronique tout au long de la campagne. Prochain rendez-vous : l’Alberta en mai 2023, à moins que le NPD fédéral décide de retirer son appui à Justin Trudeau au printemps… Qui est prêt pour une élection fédérale ?
Merci Philippe
Je t’ai lu tout au long de la campagne, jusqu’à la dernière minute pour réfléchir à mon vote dans mon comté.
Sans vouloir me montrer plus désobligeant qu’il ne faut, ni passer une fois de plus pour un affreux, horrible grincheux pisse-vinaigre, j’aimerais faire remarquer à monsieur Fournier que seulement 17 circonscriptions sur 125, ont effectivement changé de titulaire.
Ce qui signifie — n’en déplaise aux spécialistes -, que tout compte fait la politique locale est assez prévisible, que les sondages n’ont pas réellement besoin d’être de grande qualité pour se trouver presque à « coup sûr » dans la marge d’erreur.
Quand les instituts de sondages pourront nous livrer des données avec une marge d’erreur presque nulle, la qualité sera effectivement devenue un rendez-vous.
J’aimerais ajouter un questionnement : serait-il possible que les sondages d’opinions aient un impact négatif sur les taux de participation (cette année seulement 66%) ? Lorsqu’il n’y a que peu ou pas d’enjeu, les taux de participation tombent aux alentours de 50% ou même moins, exemple : 45% pour Westmount-Saint-Louis.
Certaines personnes s’étonnent que le PLQ ait obtenu un nombre relativement élevé de députés (compte tenu du pourcentage de suffrages général obtenu), ceci s’explique en grande partie parce que dans certaines circonscriptions les électeurs ne se présentent pas, donc pas d’opposition.
D’après les projections de Qc125.COM, on prévoyait à Verdun une triple égalité de trois candidats, cela ne fut pas le cas. Le maigre écart entre Alejandra Zaga Mendez et Isabelle Melançon (426 voix) dans cette lutte à deux (et non à trois), s’explique assez simplement par le fait que les électeurs libéraux bien nantis de l’Île-des-Sœurs ne se sont pas déplacés en nombre suffisant, car ils prenaient pour acquise la réélection d’Isabelle Melançon.
On pourrait faire des réflexions presque analogues pour des circonscriptions comme Anjou-Louis-Riel où la marge d’erreur calculée par Qc125.COM est carrément de ±7%. Je sais bien que la critique est aisée et l’art difficile. Ne serait-il pourtant pas possible de faire mieux que ça ?
Autant de petits détails que les sondages — dans l’état actuel de la science -, qu’ils ne mesurent manifestement pas ou ne veulent tout simplement pas mesurer, puisque ce qu’ils livrent à la gente plébéienne leur paraît certainement plus que suffisant.
Cher Monsieur Drouginsky, pour améliorer les modèles prévisionnels il faudrait améliorer la quantité (plus gros échantillons) et la qualité (réduire les biais) des données. C’est ce que je m’amuse à appeler le « postulat fondamental » de la science des données: « Foutaises en entrée, foutaises en sortie. » (GIGO: Garbage IN, Garbage Out) . https://www.youtube.com/watch?v=lrXt7PqffZ8
Cela dit, l’amélioration des sondages finit par plafonner car il restera toujours la matérialisation effective des « intentions » de vote, comme vous l’illustrez si bien avec votre exemple de l’Île-des-Sœurs.
Enfin cela entraînerait des coûts supplémentaires et il faut se demander si l’investissement vaut la peine.
Scientifiquement vôtre
Claude COULOMBE
@ Claude Coulombe,
C’est toujours un plaisir de communiquer avec vous. Je lis vos commentaires régulièrement sur d’autres sujets.
Ce que vous précisez est exactement ce que par mes propos j’entendais. Cependant, il y a des algorithmes ou si vous préférez une méthodologie qui selon moi pourraient être améliorés. Aussi ne faut-il pas éluder le fait que les sondages d’opinion servent avant toutes choses des intérêts.
D’ailleurs on fait grand cas des sondages en période électorale, cependant les Instituts de… (ou maisons de…, comme dit monsieur Fournier) … sondage font leur revenus non pas grâce à la politique, mais grâce aux firmes (ou compagnies) qui leurs confient leurs programmes de marketing.
Ainsi, un degré considéré comme raisonnable d’imprécision peut-il servir les ventes. Si je souhaite vous vendre un moteur diesel comme prochaine voiture, j’ai peut-être quelques intérêts à vous faire croire comme fabriquant que votre moteur est vert et donc peu polluant.
Le sondage servira alors à mesurer le niveau d’acceptabilité d’une certaine pollution (émissions de GES) par le panel de répondants. Dans ce cas, la taille de l’échantillonnage importe peu et certains biais peuvent être approuvés puisqu’ils servent essentiellement une cause.
C’est un peu pareil avec les collations santé, hyper transformées.
Profane-ment, vôtre.
Serge
@Serge Drouginsky
Vous me faites découvrir des usages « détournés » des sondages auxquels je n’avais pas songé.
Merci et au plaisir de vous lire
Claude
Cher Monsieur Fournier,
Bravo pour le modèle QC125, vous avez de quoi être fier!
Scientifiquement vôtre
Claude COULOMBE
@ Claude Coulombe,
Addenda : Très intéressantes vos capsules vidéos. Je vais continuer de la suivre. Merci.
Les sondages ici sont bien meilleurs que ceux du Brésil alors qu’on donnait Lula presque gagnant au premier tour alors que Bolsonaro a fait beaucoup mieux que ce que prédisaient les sondages. Cela enlève beaucoup de crédibilité à cette «science» somme toute imparfaite qui peut avoir des conséquences très sérieuses sur un scrutin. On devrait même se poser la question de savoir si on ne devrait pas interdire les sondages électoraux par crainte d’influencer le vote et de créer des situations explosives.
Comme la Météo, les sondages dans une moindre mesure exercent une certaine influence chez les votants durant la campagne électorale. C’est ce que je me suis toujours dit, à tort ou à raison. Cela paraît idiot, mais que les sondeurs continuent leur travail, pas tout à fait comme d’habitude, genre sondages «secrets»!… Ne dévoilant TOUS leurs résultats, qu’après le comptage officiel de la dernière urne, pour comparer ainsi la justesse de leurs prédictions d’avec les choix du peuple.