Ce que nous disent les sondages
PolitiqueÉlections 2018

Ce que nous disent les sondages

À moins de trois mois des élections provinciales, Philippe J. Fournier analyse une année de sondages. Si certaines tendances se dégagent sur plusieurs semaines et plusieurs mois, gare aux coups de sonde uniques.

La publication du dernier sondage CROP à la fin de juin (commandé par Cogeco Média) était le premier sondage de cette firme à être rendu public depuis janvier 2017. Toutefois, outre les nouveaux chiffres de juin 2018, nous apprenions que la firme CROP avait continué son « tracking » régulier des intentions de vote au Québec. Ces données ont maintenant été rendues publiques.

Dans le rapport du sondage de juin étaient indiquées les données des autres coups de sonde effectués par CROP depuis juin 2017. En fait, nos informations nous ont révélé que CROP aurait sondé les intentions de vote des Québécois à pas moins de dix reprises entre avril 2017 et avril 2018. Nous pouvons donc ajouter ces onze sondages CROP au modèle Qc125.

Voici donc les intentions de vote des sondages de la firme CROP d’avril 2017 à juin 2018:

Source: Alain Giguère, président de CROP

Voici tous les sondages des intentions de vote au Québec publiés entre juin 2017 et juin 2018, y compris ces nouveaux sondages de la firme CROP:

Les lignes pâles et accidentées représentent les moyennes pondérées des intentions de vote telles que calculées par le modèle électoral Qc125, où chaque sondage est soigneusement pondéré selon la taille de son échantillon et sa date de terrain. Plus le sondage « vieillit », plus sa pondération diminue dans le temps. Cette méthode de calcul permet d’amortir les fluctuations normales des sondages.

En isolant ces courbes, voici ce que nous obtenons:

L’exercice d’aujourd’hui est de comparer les résultats des quatre firmes de sondages ayant publié les intentions de vote des Québécois dans la dernière année : Léger, Mainstreet, Ipsos et CROP avec les moyennes pondérées de Qc125.

Chiffres de la firme Léger

Voici les sondages de la firme Léger de juin 2017 à juin 2018 superposés avec les moyennes pondérées du modèle Qc125:

Nous pouvons remarquer que les points du Parti québécois et de Québec solidaire se trouvent généralement très près de leur courbe respective.

Même s’il y a des écarts plus significatifs pour les points du PLQ et de la CAQ, aucune donnée de ce graphique ne pourrait être qualifiée d’aberrante.

Comparons la moyenne des données de la firme Léger avec les moyennes du modèle Qc125 au moment de chaque prise de sonde pour les sondages de juin 2017 à juin 2018:

Somme des écarts (en valeur absolue): 4,9 %

Les sondages de la firme Léger sont effectués par panel internet. Les échantillons ne sont donc pas probabilistes, ce qui signifie que la marge d’erreur au sens classique ne s’applique pas. Néanmoins, avec des échantillons d’environ 1000 répondants, nous pourrions approximer l’incertitude de tels sondages aux environ de ±3 % si l’échantillon est réellement représentatif de l’électorat québécois. En cas de pauvre représentativité, l’incertitude pourrait augmenter dramatiquement, mais aucune donnée publiée par Léger dans les dernières années laisse envisager de telles aberrations. La firme Léger a obtenu de bons résultats lors des élections québécoises de 2007, 2008, 2012 et 2014.

En conséquence, même si Léger est la firme qui mesure les appuis libéraux les plus faibles parmi les quatre firmes étudiées ici, l’écart moyen de 2,3 % sous la moyenne ne peut certainement pas être considérée comme un biais significatif.

Chiffres de la firme Mainstreet

Voici les sondages de la firme Recherche Mainstreet de juin 2017 à juin 2018 superposés avec les moyennes pondérées du modèle Qc125:



Il est à noter que les sondages Mainstreet en 2017 étaient effectués par appels téléphoniques en direct, alors ceux conduits depuis janvier 2018 ont été menés par appels automatisés (IVR)

Comme nous pouvons le constater, les chiffres de Mainstreet suivent les tendances et les moyennes pondérées pour chacun des partis. Toutefois, selon les données ci-dessus, Mainstreet semble surestimer les appuis de Québec solidaire et, dans une moindre mesure, sous-estimer quelque peu le PLQ. Regardons les écarts moyens des chiffres Mainstreet de la dernière année:

Somme des écarts (en valeur absolue): 3,6 %

Lors des douze derniers mois, les chiffres de Mainstreet ont, en moyenne, suivi les moyennes pondérées du Parti québécois et de la Coalition avenir Québec à la fraction de point près.

Toutefois, (tel que mentionné d’ailleurs dans un récent balado de L’actualité), les chiffres de Mainstreet pour Québec solidaire se trouvent constamment au-dessus de ceux des autres firmes. En effet, lors de l’été 2017, alors que Léger et CROP mesuraient des appuis solidaires entre 13 % et 15 %, Mainstreet obtenait des résultats entre 17 % et 19 %. Depuis l’hiver 2018, les appuis à QS sont redescendus entre 8 % et 10 % chez les autres firmes, mais se sont maintenus entre 11 % et 12 % chez Mainstreet.

Néanmoins, il demeure que cet écart moyen de +1,9 en faveur de QS point au cours de la dernière année n’a rien de dramatique.

Chiffres de la firme Ipsos

Il n’y a eu que trois sondages Ipsos depuis l’automne 2017, tous publiés dans La Presse :

Les sondages Ipsos d’octobre 2017 et février 2018 étaient de méthode hybride: en partie panel internet et en partie téléphonique. Le sondage de mai 2018 n’était que par panel internet.

Évidemment, nous devons faire preuve de prudence avec un échantillon de seulement trois sondages, mais à première vue, nous pouvons remarquer que les chiffres d’Ipsos pour le PLQ et la CAQ semblent alignés avec les moyennes Qc125, mais que les données pour Québec solidaire se trouvent nettement sous sa moyenne.

Regardons les écarts moyens:


Somme des écarts (en valeur absolue): 4,9 %

Les chiffres d’Ipsos ont tiré la moyenne de Québec solidaire vers le bas avec un écart moyen de 2,1 points sous la moyenne et poussé le PQ vers le haut avec un écart de 1,9 point au-dessus de la moyenne Qc125. Encore une fois, aucun de ces écarts n’est particulièrement significatif ou révélateur d’un biais important.

Chiffres de la firme CROP

Finalement, voici les chiffres récemment rendus publics par la firme CROP. Tout comme Léger, les sondages CROP sont effectués par panel internet:


La donnée qui ressort immédiatement de cette figure est le sondage d’octobre 2017 qui mesure le PLQ à 42 % et le PQ à 13 %. Ce sondage semble clairement se qualifier comme une aberration. Néanmoins, si nous omettons ce coup de sonde et regardons la tendance générale de la dernière année selon CROP, les chiffres s’alignent tout de même bien avec ce qu’ont publié les autres firmes: c’est-à-dire que la CAQ aurait pris l’avance dans les intentions de vote à la fin de l’automne 2017 et grugeant graduellement les appuis péquistes.

Mais il ne demeure pas moins que les écarts de CROP sont plus importants que les écarts de ses compétiteurs:

Somme des écarts (en valeur absolue): 10,1 %

Les chiffres de CROP semblent à la fois tirer le PLQ vers le haut et le PQ vers le bas dans des proportions équivalentes (des écarts moyens de 3,5 points par rapport à la moyenne Qc125) et ce, plus que toute autre firme. Donc, même si les tendances mesurées par CROP sont certes similaires, les « niveaux de l’eau » de chaque parti demeurent différents.

La somme des écarts de CROP est plus élevée que celles des autres firmes, mais le sondage aberrant d’octobre 2017 à lui seul fait bondir ce chiffre. En effet, en omettant seulement ce sondage, la somme des écarts de CROP descend à 8,5 %.

En conclusion

Y a-t-il un « House Effect » chez les firmes de sondage au Québec, c’est-à-dire un biais systématique envers un parti ou un autre? Si tel est le cas, les écarts calculés dans cet article sont bien en-deçà des écarts qui ont été mesurés, par exemple, par certaines firmes américaines lors de l’élection présidentielle de 2016. Certes, les chiffres bruts de CROP sont plus à l’écart de la moyenne, mais ils indiquent tout de même des tendances générales similaires aux autres firmes.

Comme j’ai écrit à plusieurs reprises depuis la création de Qc125, il est important de ne pas trop donner d’importance à un sondage unique, mais de considérer les tendances générales des sondages sur plusieurs semaines et plusieurs mois. Les firmes sur le terrain ont des échantillons différents et techniques de sonde variées, alors leurs chiffres ne peuvent pas, statistiquement, être identiques!

C’est pourquoi il est sage et prudent de considérer chaque sondage comme une pièce d’un grand puzzle. Une succession de sondages est immensément plus révélatrice qu’un seul coup de sonde.