Plusieurs lecteurs et lectrices m’ont fait part de leurs interrogations à propos des différences marquées des divers sondages d’intentions de vote publiés depuis le début de la campagne. Elles méritent en effet qu’on s’y attarde.
Je soulignerais d’emblée que d’observer des écarts de quelques points de pourcentage ici et là dans les sondages est un phénomène normal d’un strict point de vue mathématique. Les maisons de sondages utilisent des techniques différentes pour jauger l’humeur de la population, font usage de différents modèles de pondération et, surtout, ils essaient de viser une cible qui est constamment en mouvement. Je serais bien plus préoccupé si les sondages indiquaient tous la même chose.
Je rappellerais aussi aux lecteurs que les sondeurs tentent de mesurer une estimation des intentions de vote — pas des projections de sièges comme le fait le modèle Qc125. Les sondeurs sondent et les modèles projettent. Les sondages sont la matière brute et les projections, les produits transformés. Il ne faut pas confondre les deux.
Si quelques points d’écart peuvent générer des différences considérables dans les projections de sièges, cela est principalement causé par notre mode de scrutin, et non par des erreurs de sondage. Si, par exemple, il y une différence marquée dans la projection de sièges pour un Parti libéral du Québec à 17 % ou 19 %, le sondeur qui aurait mesuré 18 %, lui, aurait visé juste. N’oublions jamais que les sondages possèdent de l’incertitude (ou marge d’erreur), et ne peuvent — en raison de la nature même des statistiques — être parfaitement exacts (sauf par un coup de chance occasionnel).
Au moment d’écrire ces lignes, seulement deux maisons de sondages ont publié des données nationales, soit Léger et Recherche Mainstreet (d’autres firmes sont assurément sur le terrain, mais leurs données n’ont pas été rendues publiques). Des observateurs ont été rapides de souligner les divergences entre les deux. Voici les chiffres les plus récents :
La dernière mesure des appuis à la CAQ est de 41 % selon Mainstreet et 38 % selon Léger. Il serait donc facile de couper la poire en deux et estimer que la CAQ se trouve « aux alentours de 40 % ». Pour le PLQ, les sondages des dernières semaines ont été remarquablement stables : depuis le 1er septembre, le PLQ n’a oscillé qu’entre 17 % et 18 %. De ce côté-ci, aucun problème.
Mais ça bouge plus derrière. Au PQ, le sondage Léger au début de la campagne mesurait 9 % d’appui au niveau national, puis 11 % dans le sondage de la semaine dernière. S’agit-il d’une remontée ou d’une fluctuation ? Avec un écart de seulement deux points entre les deux, c’est impossible de connaître la réponse à cette question de manière définitive sans d’autres données. Chez Mainstreet, le PQ a commencé la campagne à 7 %, puis a monté jusqu’à 11 % au début septembre, avant de descendre à 7 % à nouveau. Tout cela ne pourrait être, ce qu’on appelle dans le milieu, du « bruit », c’est-à-dire des fluctuations statistiques normales compte tenu de la taille des sous-échantillons. Une réponse pourrait être que le PQ se trouve près de la barre des 10 %.
C'est avec Québec solidaire (QS) et le Parti conservateur du Québec (PCQ) que nous rencontrons les plus grandes divergences entre les deux firmes. Commençons avec les troupes d'Éric Duhaime: Léger accordait au PCQ 14% des intentions de vote au début de la campagne et 15% la semaine dernière, donc rien d'une variation statistiquement significative. Chez Mainstreet par contre, c'est une tout autre histoire. Le PCQ a commencé la campagne à 21%, puis est retombé à 16% au début septembre, avant de remonter à 18-19% dans les derniers jours.
Ainsi, la pire performance du PCQ chez Mainstreet est un point supérieur au meilleur résultat du PCQ chez Léger. Nous observons peut-être un effet de mode de sondage ici. Léger utilise grand un panel internet, alors que Mainstreet fait usage d'appels automatisés aléatoires (IVR).
Les chiffres pour Québec solidaire ont certainement de quoi faire sourciller. Léger indiquait 15 % d’appuis à QS au début de la campagne et 17 % la semaine dernière, soit un niveau généralement similaire aux résultats de QS en 2018 (16,1 %). Chez Mainstreet, QS a commencé la campagne à 12 %, a atteint un sommet à 13 % au début septembre et oscille entre 10 % et 11 % depuis. Ceci est une différence majeure qui peint des scénarios dramatiquement différents pour la formation de gauche.
À 10 ou 11 %, QS serait probablement rayé des régions, et n’enregistrerait aucun gain, voire peinerait à garder certains acquis, comme Rosemont à Montréal. Mais à 17 % ? Les troupes de Gabriel Nadeau-Dubois conserveraient sans doute tous leurs sièges montréalais et pourraient même espérer faire des gains dans la métropole (potentiellement Verdun, Maurice-Richard, Saint-Henri–Sainte-Anne, Viau).
D'ailleurs, comme l'indiquaient deux sondages régionaux de la firme Segma Recherche cette semaine (pour le compte du quotidien de Sherbrooke La Tribune et Cogeco), l'Estrie serait le théâtre de deux courses endiablées entre la CAQ et QS, soit dans Sherbrooke et Saint-François. C'est à suivre.
Toujours à propos de QS, les chiffres montréalais de Léger et Mainstreet présentent aussi des contradictions notables. Le sous-échantillon montréalais de Léger, quoique modeste (341 répondants), mesurait QS à 21% sur l'île de Montréal (tout près du résultat de 2018), en deuxième place derrière le PLQ.
Chez Mainstreet toutefois, un sondage uniquement montréalais publié vendredi indiquait que les appuis à QS avaient fondu, particulièrement dans la moitié est de Montréal (où QS a remporté 6 sièges en 2018). Dans ce coin de la métropole, Mainstreet donnait seulement 17 % des intentions de vote à QS. En 2018, le parti de gauche avait obtenu 32 % des suffrages dans ces circonscriptions en 2018.
Est-ce possible que QS ait perdu presque la moitié de ses appuis dans l'est de Montréal depuis 2018? Les autres sondeurs n'indiquent pas ça. Et dans ce cas précis, il s'agit d'un écart de sondage irréconciliable.
J'ai contacté le président de Recherche Mainstreet, Quito Maggi, pour lui demander ses impressions des écarts actuels. « Quelques facteurs importants doivent être pris en compte concernant [les chiffres de QS], fait-il valoir. D'abord, les points de données de notre échantillonnage quotidien étendu sur quatre jours sont demeurés cohérents depuis le début de la campagne. Aussi, nos sondages de circonscription montrent des tendances similaires aux chiffres nationaux. Et, troisièmement, les données spécifiques à l'île de Montréal semblent aussi indiquer une baisse de QS. »
Quito Maggi rappelle aussi que sa firme a été la première à détecter la hausse d’appui de Québec solidaire en 2018 (QS est passé de 10 % au début de la campagne à 16 % la veille du vote). De plus, il ajoute que Mainstreet avait « correctement prédit la victoire de QS dans des circonscriptions comme Taschereau, Rouyn-Noranda–Témiscamingue et Sherbrooke. » Il concède cependant qu’il est possible que les sondages automatisés puissent involontairement défavoriser QS. Deux hypothèses peuvent être alors envisagées : que l’IVR est devenu incapable de capturer le soutien de QS à l’échelle de la province depuis quatre ans ou que QS soit réellement en baisse significative depuis 2018. Dans ce dernier cas, cela signifierait que Segma Recherche et Léger surestiment QS de plusieurs points.
J'ajouterais qu'un troisième scénario demeure possible : les chiffres sont différents pour l'instant, car il y a encore de nombreux indécis dans l'électorat et qu'une partie de population, fatiguée de la rentrée scolaire et des deux dernières années de pandémie, n'a toujours pas porté une grande attention à la campagne. À l'approche du jour du vote, une plus grande proportion de Québécois pourrait se ranger derrière un clan ou un autre. Nous avons observé cette convergence vers la fin dans d'autres campagnes récentes au Canada.
En terminant, un mot sur la projection actuelle : même si la CAQ semble avoir fait un recul modeste dans l’opinion publique depuis août selon Léger, les chiffres nous disent qu’aucun des partis d’opposition n’est parvenu à s’imposer comme réelle alternative. Notre mode de scrutin fait donc en sorte que la CAQ demeure confortablement en zone majoritaire avec deux semaines à faire à la campagne.
Au moment d'écrire ces lignes, il est toujours trop tôt pour affirmer si le débat TVA a fait bouger l'aiguille, mais nous le saurons en début de semaine.
Voici la plus récente projection de sièges du modèle Qc125 :
Ce jeudi aura lieu le deuxième (et dernier) débat des chefs de la campagne, celui-ci diffusé à Radio-Canada. Nous continuerons de suivre les chiffres de près jusqu’à la veille du vote.
* * *
Pour consulter les chiffres de cette projection québécoise, visitez la page de Qc125. Pour la liste complète des 125 circonscriptions, consultez cette page ou visitez la carte complète de la projection ici.
Dans cet article Philippe J. Fournier évoque les méthodes respectives des instituts de sondages pour recueillir les intentions de vote des électeurs. Il fait mention que : « Mainstreet fait usage d’appels automatisés aléatoires (IVR) ».
Pour avoir vécu voici seulement quelques mois une campagne électorale partielle dans la circonscription de Marie-Victorin, j’ai au cours des semaines qui précédèrent le vote, reçu largement une bonne trentaine d’appels en provenance de Mainstreet qui souhaitait me sonder.
Je comprends bien que lors d’une élection partielle, le nombre potentiel de personnes pouvant être appelées, est plus petit que lors d’une élection provinciale ; toutefois, j’éprouve de l’embarras à concevoir que ces appels aient été réellement aléatoires et qu’ils aient pu me rejoindre un aussi grand nombre de fois avec potentiellement 45 646 électeurs inscrits. Mainsteet aurait-il procédé à environ 1 500 000 appels aléatoires sur un mois pour parvenir à un semblant d’échantillonnage cohérent ?
Ce qui me laisse très dubitatif quant-à-la qualité des échantillonnages de Mainstreet. Tous facteurs de pondération apportent toujours un inéluctable potentiel de distorsions qui altèrent la pratique du bons sens et le bon jugement.
J’aimerais ajouter que je suis en désaccord avec la définition de monsieur Fournier, je cite : « Les maisons de sondages utilisent des techniques différentes pour jauger l’humeur de la population, font usage de différents modèles de pondération et, surtout, ils essaient de viser une cible qui est constamment en mouvement. »
Je conteste en effet que les instituts de sondages jaugent l’humeur de la population, dans le plus favorable des cas, ce sont des enquêtes d’opinions. Ils sont plutôt utilisés pour sensibiliser la population, ce sont donc des outils de marketing, incluant le marketing politique, tout particulièrement à la veille d’une élection. Techniquement un sondage peut donner des indices très précis, même avec des cibles qui sont en mouvement.
Il n’est d’usage fait mention que des sondages publiés par les médias, à toutes fins pratiques ces sondages sont la pointe de l’iceberg, il existe toutes sortes de sondages auxquels n’ont pas accès le public, lesquels servent essentiellement les stratèges et les experts en marketing pour affiner la mise-en-marché du produit politique.
Ainsi les apparentes divergences remarquées par monsieur Fournier dans son texte, démontrent les déficiences de divers modèles utilisés par la profession ou bien l’absence de volonté d’affiner des modèles qui se contentent quelquefois d’une marge relativement élevée d’erreur pour servir un dessein.
Pour établir une allégorique comparaison : si les sondages étaient des missiles anti-missiles de haute précision, avec une cible à abattre constamment en mouvement, ils rateraient avec ce genre de modèles, la cible exacte environ 99 fois sur 100. L’objectif n’est-il pas finalement de plonger l’électeur dans une sorte transe, une forme élaborée de désarroi qui relève psychologiquement de la confusion ?
J’ajouterai que nous avions reçu 6 appels de Mainstreet pour l’élection partielle dans Marie-Victorin (Longueuil Ouest) et nous habitons Taillon (Longueuil Est). On peut questionner la façon de recueillir des données alors que nous n’avions même pas le droit de vote, à cette élection partielle.
@ Néron, Dominique
Merci beaucoup pour vos commentaires. Cela confirme bien que Mainstreet a ses propres listes d’appels, lesquelles ne sont pas « à jour ». Il n’y a pas grand-chose d’aléatoire méthodologiquement.