Peut-on encore se fier aux sondages ?

On ne sonde plus l’opinion publique comme avant. Les volontaires sont recrutés sur le Web et payés pour répondre aux questions. La marge d’erreur ? Disparue !

Peut-on encore se fier aux sondages ?
Photo : Andrew Vaughan/PC

L’histoire d’amour entre Jack Layton et les Québécois a sans doute débuté le 3 avril, par un coup de foudre lors de son passage à l’émission Tout le monde en parle.

De sondage en sondage, le cœur des Québécois s’est emballé, jusqu’à la déclaration d’amour du 20 avril, par la voix d’une enquête CROP montrant que le Nouveau Parti démocratique venait de passer premier dans les intentions de vote au Québec. Un sondage mené dans Internet, comme plusieurs autres publiés au cours de la dernière campagne électorale.

La question qui tue : peut-on faire confiance à ces sondages en ligne ? « Théoriquement, non », répond Claire Durand, professeure au Département de sociologie de l’Université de Montréal et vice-présidente de l’Association internationale de méthodologie sociologique.

Tous les moyens semblent bons pour recruter des volontaires sur le Web : invitation par courriel, bandeau publicitaire en ligne, promesse de rémunération… Aucune de ces méthodes ne permet pourtant de sélectionner des répondants au hasard, comme l’exige la théorie des probabilités.

« Un sondage dans Internet, c’est la pire des méthodes », soutient le sociologue Richard Brousse, membre de l’Observatoire des sondages, regrou­pement d’experts en méthodologie et sciences politiques situé à Bordeaux.

La France s’apprête d’ailleurs à mettre les sondeurs au pas en interdisant la publication de toute enquête d’opinion dont les volontaires ont été gratifiés, même s’il ne s’agit que de sommes symboliques ou de chèques-cadeaux. Un projet de loi en ce sens a été déposé à l’Assemblée nationale en février dernier par le Sénat.

Les mêmes techniques de recrutement sont utilisées par les maisons de sondage canadiennes. Opinion publique Angus Reid, par exemple, verse de un à cinq dollars par sondage aux membres de son forum Web. De nombreux experts en méthodologie s’interrogent sur la représentativité des internautes qui s’enrôlent dans ces panels.

Un chercheur allemand de l’Université de Bonn, Jörg Blasius, a démontré que les échantillons Web contenaient plus de célibataires et de personnes sans enfant et moins de personnes fréquentant l’église que la population en général.

Une autre étude, menée l’an dernier par le Bureau du recensement des États-Unis auprès de citoyens interrogés, par téléphone ou en ligne, au sujet de leur intention de remplir le formulaire de recensement, laisse songeur. Les réponses variaient de 13 points selon la méthode !

Dans une campagne électorale, ces différences ne sont pas sans conséquence. Claire Durand a calculé que les sondages faits dans Internet en avril dernier ont sous-estimé le vote conservateur de 1,5 point en moyenne par comparaison avec les sondages téléphoniques. « On peut penser que certaines personnes ayant tendance à voter conservateur, comme les personnes plus âgées, sont moins présentes dans les panels d’internautes », analyse-t-elle.

L’intérêt de cette méthode repose sur son faible coût. Plus besoin de payer quelqu’un pour poser les questions ! « Nous pouvons utiliser des question­naires plus longs et des échantillons plus grands sans coûts supplémentaires », dit Sylvain Gauthier, vice-président de CROP. Cette maison de sondage effectue maintenant la moitié de ses enquêtes d’opinion sur le Web. Lorsqu’il s’agit de soumettre une question à une population ciblée, comme les membres d’un ordre professionnel, cela ne pose pas de problème méthodologique.

« Nous sommes cependant encore frileux quand nous faisons une enquête grand public », reconnaît Sylvain Gauthier. Lors de la diffusion des résultats, CROP indique toujours que la marge d’erreur ne s’applique pas. Pas parce que les résultats sont sûrs à cent pour cent, mais plutôt parce qu’il est impossible de mesurer jusqu’à quel point ils le sont !

Pour expliquer le principe de la marge d’erreur à ses étudiants, Claire Durand se sert de sacs de M&M. « Ces sacs sont toujours censés contenir 20 % de jaunes. Mais si vous choisissez des sacs au hasard, ils en contiennent parfois 18 %, parfois 22 %. Et une fois sur 20, il est même possible qu’ils en contiennent seulement 15 %. Si vous aimez les jaunes, vous venez de vous faire avoir. »

Ces calculs de probabilité ne pouvant être appliqués que sur un échantillon pris au hasard, CROP prend d’autres précautions pour valider son échantillonnage. La maison pondère d’abord les résultats selon l’âge et le profil sociodémogra­phique – en accordant, par exemple, plus de poids statistique aux personnes âgées de l’échantillon, si elles y sont sous-représentées par rapport à la population générale. Elle applique ensuite une méthode d’ajustement du modèle qui tient compte des valeurs et du style de vie, pour éviter les distorsions liées au profil des gens motivés à participer à des enquêtes en ligne.

Opinion publique Angus Reid, quant à elle, ne se gêne pas pour appliquer une marge d’erreur à ses sondages en ligne. « Notre panel d’internautes est constitué d’environ 100 000 membres invités de façon aléatoire et sélectionnés pour être représentatifs de tous les groupes socio­économiques et de toutes les régions du pays », affirme son vice-président, Jaideep Mukerji. Les questionnaires sont envoyés aléatoirement à environ 4 000 d’entre eux.

Claire Durand détecte quand même une faille dans cette approche : la possibilité de s’inscrire de façon volontaire dans le site du Forum Angus Reid, ce qui déjoue le hasard.

« Le seul mode de recrutement parfaitement probabiliste consiste à téléphoner aux gens de façon aléatoire et à fournir l’accès au Web à ceux qui ne l’ont pas pour qu’ils puissent répondre », dit Claire Durand. Quelques maisons de sondage américaines et européennes ont commencé à le faire ! Elles y trouvent leur compte en enrôlant ensuite les inter­nautes dans des études de marketing visant à tester des publicités, ce qu’il est impossible de réaliser par téléphone.

Pas de doute, cette industrie est en pleine mutation. Les sondages téléphoniques ne sont eux-mêmes plus tout à fait l’étalon-or qu’ils étaient. « Les taux de réponse, qui atteignaient 70 % dans les années 1980, ont chuté de moitié, dit Sylvain Gauthier. Dans la région métropolitaine de Toronto, on obtient à peine 10 % à 15 %. »

Ce sont les jeunes qui sont mal représentés dans ces échantillons. « Le taux de réponse des 18 à 35 ans est pitoyable », note Jaideep Mukerji. La plupart des jeunes n’ont plus de ligne téléphonique fixe et ils refusent de dépenser les précieuses minutes de leur forfait de cellulaire pour répondre à un sondage. Les numéros de portable n’étant pas rattachés à une adresse domiciliaire, cela complique aussi drôlement la validation de l’échantillon pour ce qui est de la répartition géographique.

Professeure au Département de science politique de l’Université Laval, Anne-Marie Gingras n’est pas tendre envers les sondeurs – peu importe la méthode utilisée – et envers les journalistes qui font la une avec leurs résultats. Elle consacre à ce sujet un chapitre entier de son ouvrage Médias et démocratie : Le grand malentendu (Presses de l’Université du Québec, 2009).

« Un sondage n’est qu’une photo polaroïd de l’opinion publique, mais il donne une image parfois si brouillée de la réalité qu’elle en est faussée », dit-elle.

Or, les sondages peuvent modifier le comportement de l’électorat, affirme le politologue Jean-Herman Guay, professeur à l’École de politique appliquée de l’Université de Sherbrooke. Ce phénomène a même un nom : l’« effet band­wagon » (effet d’entraînement). « Les gens veulent voter pour le gagnant et sont emportés par une sorte de frénésie, explique-t-il. Cela a une incidence nette relativement faible, soit environ cinq points de pourcentage, mais ce n’est pas négligeable. »

Faudrait-il interdire la publication des sondages en campagne électorale ? « J’y serais tout à fait favorable, dit Anne-Marie Gingras. Le Canada l’a d’ailleurs déjà tenté. » En 1993, la Loi électorale du Canada a interdit la diffusion de résultats de sondage dans les 72 heures précédant un scrutin, une disposition finalement invalidée par la Cour suprême en 1998, au nom de la liberté d’expression. Tout retour en arrière est impensable, les résultats pouvant aujourd’hui être « twittés » en un clic de souris.

Il faut néanmoins informer la population des limites de ces coups de sonde. « C’est essentiel si on ne veut pas que tôt ou tard des sondages biaisés influencent indûment les décisions politiques ou même le vote », conclut Claire Durand.