Ces sondages qui étonnent

Deux coups de sonde sur les intentions de vote au Québec publiés la semaine dernière avaient de quoi faire sourciller, mais leurs résultats hors normes s’expliquent. Voici comment.

montage : L’actualité

Deux sondages sur les intentions de vote au Québec ont été dévoilés le 21 mars par le chroniqueur politique Jonathan Trudeau à l’émission matinale, animée par Paul Arcand, de la station montréalaise de Cogeco.

Ils ont surpris bien des observateurs, à la fois par leurs similarités et leurs différences, mais surtout en raison de ce qu’ils laissaient croire.

D’abord l’éléphant dans la pièce, soit le sondage de la maison Recherche Mainstreet qui donnait au Parti conservateur du Québec (PCQ) d’Éric Duhaime la deuxième place ! Cette enquête était une commande d’une société pétrolière et gazière qui souhaite exploiter les gisements de gaz de schiste de la vallée du Saint-Laurent, Ressources Utica. Les participants étaient interrogés sur des enjeux énergétiques avec des questions comme : « Le Québec importe la totalité du pétrole et du gaz consommés ici. Est-ce que cela vous préoccupe ? » et « Pensez-vous que c’est une bonne idée que le Québec produise du gaz naturel pour l’exportation vers l’Europe pour contribuer à remplacer le gaz russe ? » Le sondage a été mené alors que l’Assemblée nationale se penchait sur le projet de loi 21, qui interdirait toute exploration et toute exploitation des hydrocarbures au Québec, texte législatif auquel s’oppose vigoureusement le commanditaire du sondage.

Jusque-là, pas de problème.

Toutefois, le commanditaire en a profité pour mesurer aussi les intentions de vote des répondants. Et les résultats sont pour le moins étonnants : 36 % pour la Coalition Avenir Québec (CAQ) contre 24 % pour le PCQ. Les autres partis d’opposition sont loin derrière.

Or, la moyenne récente des appuis au PCQ — favorable à l’exploitation du gaz de schiste au Québec — oscille plutôt autour de 14 %. Comment expliquer ce qui semble une véritable aberration statistique ? Les sondages de Recherche Mainstreet sont effectués par appels téléphoniques automatisés (connus dans l’industrie sous le sigle IVR — interactive voice response) et sont par le fait même réellement « probabilistes », c’est-à-dire que l’échantillon de répondants est aléatoire (dans ce cas précis avec une marge d’erreur de ±3 %, 19 fois sur 20). La nature probabiliste de ce type de sondages les rend susceptibles de fluctuations statistiques, mais pas de cet ordre.

Le président de Recherche Mainstreet, Quito Maggi, a exprimé lui aussi un certain doute quant aux résultats de son étude. « Nous mesurons des appuis croissants au PCQ depuis plus d’un an, principalement dans la région de la Capitale-Nationale. Ces données semblent toutefois bien en dehors des normes actuelles par rapport à ce que nous avons mesuré dans les derniers mois, et nous montrent une certaine volatilité, chez les jeunes électeurs en particulier. Comme pour le PPC au fédéral en 2021, les appuis au PCQ sont probablement gonflés en raison de la fatigue liée à la pandémie. »

Nous sommes devant un exemple classique de biais de sélection, car le sondage ne se serait jamais rendu dans les médias s’il n’avait pas été avantageux pour le PCQ. Imaginez un acteur — intéressé et partisan — qui conduit des enquêtes d’opinion publique, alors que celle-ci est en mouvement, avec tout ce qui se passe dans l’actualité. Un premier sondage donne 14 %, un autre, 18 % et un troisième, 24 %. Comme la seule donnée offerte au public est la plus élevée, nous nous retrouvons donc devant une perception biaisée de la réalité.

Afin d’illustrer ce propos, voici un petit graphique de 500 points représentant des données aléatoires autour d’une valeur de 18 (avec un écart-type de 3). La forte majorité des points se trouvent un peu en deçà ou légèrement au-dessus de 18, et quelques-uns seulement sont plus éloignés de la moyenne (les flèches indiquent les valeurs de 12 et 24, soit à six points de la moyenne).



Maintenant, regardez exactement la même distribution, mais avec les points de valeur inférieure à 20 soutirés du graphique.



La perception est différente, n’est-ce pas ?

Et c’est pour cette raison que le sondage en question a été considéré comme de source partisane dans la liste des sondages de Qc125 (voir la liste complète ici). Ce n’est pas qu’il soit compromis ou qu’il ait été manipulé, mais il a été rendu public uniquement parce qu’il faisait l’affaire des parties concernées.

Le deuxième sondage provient de la maison Synopsis Recherche Marketing. Les chiffres nationaux pour le Parti libéral, le Parti québécois et Québec solidaire sont à peu près les mêmes que ceux de Mainstreet, mais pour la CAQ et le PCQ, les données montrent de réelles divergences.

Selon Synopsis, la CAQ trône seule au sommet avec 44 %, la plus haute proportion d’appuis pour la formation de François Legault depuis l’automne dernier. Quant au PCQ, il se trouve à 16 %, soit à égalité statistique avec le PLQ et QS (mais toujours au-dessus de sa moyenne actuelle).

Toutefois, ce sondage a été commandé et fourni par… la CAQ. D’ailleurs, seules des informations partielles nous ont été dévoilées, soit les données nationales et la ventilation selon la langue maternelle et les tranches d’âge.

Naturellement, la CAQ n’aurait pas fait passer à un chroniqueur un sondage qui ne lui est pas favorable. Encore une fois, cela crée un biais de sélection. C’est pourquoi il a lui aussi été jugé de source partisane. Ça n’a rien à voir avec la performance ou la fiabilité du sondeur, mais bien avec la source qui a laissé filtrer ce sondage.

C’était la même chose avec le sondage Léger réalisé cet hiver dans la circonscription de Marie-Victorin, qui donnait une égalité entre Shirley Dorismond de la CAQ et Pierre Nantel du PQ en vue de l’élection partielle du 11 avril. Il avait été commandé puis diffusé par le Parti québécois. Aurait-il été rendu public s’il avait mesuré un retard de 10 points pour Pierre Nantel ? Bien sûr que non. Il en va de même pour la CAQ et son sondage de la maison Synopsis.

Je répète souvent qu’il faut faire preuve de prudence au moment d’interpréter les sondages politiques, surtout ceux qu’on laisse filtrer à des fins partisanes, publiés non pas dans le but d’informer, mais de persuader. C’est pourquoi je crois qu’il est crucial d’insister encore sur l’importance de garder son attention sur l’ensemble du paysage de l’opinion publique, pas seulement sur un arbre de la forêt.

* * *

Pour tous les sondages sur les intentions de vote au Québec, visitez la page Web de Qc125 ici.

Les commentaires sont fermés.

Bonjour monsieur Fournier,

Merci pour ce bel éclairage. Je lis les articles de l’Actualité à tous les jours. Je me considère donc comme assez bien informé des enjeux de la société. Pour la majorité des personnes qui votent, les nuances que vous apportez sont bien loins de leurs préoccupations. Il faut vraiment continuer de « démocratiser » la science des sondages. Nous sommes bien loin des Gallup, publié 3 fois pendant une campagne électorale!

Il ne faut pas se fier à un sondage isolé, peu importe sa source. Il n’est valable que s’il est appuyé par au moins un autre sondage, ou s’il se situe dans une tendance.

Les manières de manipuler les sondages sont multiples ; la question ainsi que la séquence des questions en une. « Le Québec importe la totalité du pétrole et du gaz consommés ici. Est-ce que cela vous préoccupe ? » et « Pensez-vous que c’est une bonne idée que le Québec produise du gaz naturel pour l’exportation vers l’Europe pour contribuer à remplacer le gaz russe ? » Une fois que le sondé, se considérant autonomiste et altruiste, a répondu « oui » aux deux questions, il va naturellement appuyer le PCQ, qui est en faveur de l’exploitation gazière et pétrolière.

Il faut toujours faire attention à la formulation des questions, en plus examiner la méthode du sondage, aléatoire ou non, et le nombre de refus de répondre, que les maisons de sondage évitent de publier en général.

Les agrégations des résultats de divers sondages sont les plus fiables, comme Qc125.

« Le Québec importe la totalité du pétrole et du gaz consommés ici. Est-ce que cela vous préoccupe ?
C’est une question biaisée car elle laisse croire que le Québec importe son pétrole et son gaz de l’étranger lorsqu’en réalité ils proviennent en totalité de l’ouest canadien et des États-Unis. De plus même si ces importations vous préoccupent, le Québec ne pourrait pas devenir autosuffisant. L’alternative est l’électricité pas l’exploration pétrolière.

Les sondages sont une arme à 2 tranchants: si je vois que le PCQ s’approche du pouvoir et que je m’y oppose, cela va me pousser à regarder l’alternative qui aura le plus de chances de le battre. Autrement dit, je ne voterai pas nécessairement pour le meilleur candidat mais pour celui qui a le plus de chances de barrer la route à un parti que je crois être une menace à mon pays ou ma province; dans ce cas, les sondages peuvent jouer contre lui.

C’est d’ailleurs la grande faille du système électoral actuel (uninominal à 1 tour) car si nous avions la proportionnelle, j’aurais plus confiance de voter pour le meilleur candidat selon mes croyances et ma perspective. Avec le système actuel, on ne peut pas prendre de chances et il est important de barrer la route aux extrémistes.