Sondage : les jeunes, victimes d’escroperie ?

Les 18-24 ? Oups, CROP ne les avait pas vus !

Si vous deviez faire un sondage sur le conflit étudiant, souhaiteriez-vous mesurer avec exactitude, entre autres choses, ce qu’en pensent les 18-24 ans ?

Cette préoccupation semble absente à la maison CROP, dont l’avant-dernier sondage a semé tant de controverse que La Presse a mis en ligne les tableaux complets de son dernier sondage. Un beau geste de transparence, révélant cependant ainsi la nette sous-représentation des répondants de 18-24 ans dans le groupe des sondés.

D’abord, des chiffres. Dans la population en général, les 18-24 représentent 11 % des adultes. Dans le CROP de samedi, ils ne pèsent que 3,06 % de l’ensemble des répondants. Dans le CROP du samedi précédent, dont le blogueur a obtenu copie, ils ne pesaient que 2,6 %.

Une sous-représentation draconienne pour le segment de la population le plus opposé à la loi spéciale et à la hausse des droits de scolariré. Dans le dernier sondage Léger, où les 18-24 ans pèsent 11 %, soit leur poids réel, leur opposition à la loi spéciale est massive (73 % selon Léger).

La sociologue et spécialiste des sondages Claire Durand avait noté cette incongruité samedi matin à la lecture du rapport en ligne de CROP et en avait avisé la direction de l’information à La Presse.

« Ce n’est pas correct, il y a un biais, m’explique-t-elle. Ça a un impact qui fait que le sondage est un peu plus favorable à la loi spéciale que ce à quoi on pourrait s’attendre. »

L’inspecteur Clouseau des sondages ?

Cependant, cet impact est atténué par… une autre erreur du sondeur, qui sous-estime le poids des personnes plus âgées qui sont, elles, plus favorables à la loi.  « On pourrait leur demander [à CROP] de refaire le calcul pour le corriger », dit Durand.

C’est ce que CROP a fait, ce mardi matin, après avoir reçu mes questions. Youri Rivest, vice-président de la société de sondages, affirme qu’un nouveau calcul sur la base de la répartition utilisée par Léger (et dérivée du recensement) de la répartition des âges donne le même résultat sur l’appui au gouvernement ou l’appui à la loi spéciale.

Dans ce cas d’espèce, CROP est l’inspecteur Clouseau des sondages, qui arrive en fin d’intrigue au bon résultat, mais seulement en ayant accumulé les bévues sur le parcours.

Nous aimerions vérifier les nouveaux calculs de l’inspecteur du sondeur ; cependant il a refusé de remettre ces nouveaux tableaux, à nous comme à la professeure Durand.

Pour être plus précis, CROP ne se prononce pas sur l’opinion des 18-24, mais inclut ce groupe dans un segment plus large des 18-34, où les plus jeunes étaient nettement sous représentés. J’ai demandé à M. Rivest la comparaison avant correction et après correction de l’opinion des 18-34 ans, maintenant que la portion des 18-24 avait repris son poids. Il nous affirme que le résultat est le même. Cela me paraît, au vu des variations perçues chez Léger entre ces groupes (73 % contre chez les 18-24 et 46 % contre chez les 25-34), mathématiquement impossible. Mais on ne peut juger sur pièce, puisqu’on n’a pas les pièces.

On peut cependant refaire le calcul à partir des données de Léger. S’ils avaient fait la même erreur que CROP, le groupe des 18-34 de Léger aurait du être opposé à la loi dans une proportion de 49,2 %, soit une minorité. En corrigeant ces données pour représenter correctement le poids de chaque groupe, la minorité devient majorité claire, à 57,5 %. Que cette variation plus que significative n’apparaisse pas dans le calcul corrigé de CROP laisse songeur.

Interdit d’être indécis

Les sondages Internet de CROP posent un autre problème, que j’avais observé dans un dossier fait avec la maison CROP pour L’actualité : sauf pour les questions d’intention de vote, il y est interdit d’être indécis.

Lorsque les sondages étaient faits au téléphone, on vous demandait votre avis et il vous arrivait de dire spontanément « je ne sais pas » ou « je ne veux pas répondre ». On notait alors ces réponses, qu’on ne vous avait pas suggérées.

Sur Internet, on ne peut parler à l’ordinateur. CROP ne suggère pas les réponses « je ne sais pas » ou « je ne veux pas répondre », alors que Léger le fait. Pourquoi pas ? Pour Youri Rivest, « lorsqu’on suggère la réponse, on a tendance à surestimer le nombre de gens qui disent ne pas savoir. Il arrive que les gens soient paresseux ».

C’est aussi l’opinion de Claire Durand qui, dans ses propres sondages, permet au moins aux sondés de ne pas répondre au choix forcé et de cliquer sur la flèche qui envoie à la question suivante, son absence de choix étant comptabilisée comme « je ne sais pas/je ne réponds pas ». CROP, dit Rivest, ne permet pas cette échappatoire.

Quelles conséquences cela peut-il avoir ?

Le dernier sondage de Léger montre généralement des taux d’indécis assez faibles, de 3 à 5 % selon les questions. Mais les variations sont intéressantes. À la question « Êtes-vous en faveur ou opposé à cette loi spéciale ? », on comptait au total 6 % d’indécis, 9 % des femmes et 11 % des 24-35 ans. N’est-ce pas là, aussi, une mesure de l’opinion, un reflet de son indécision partielle ?

Si Léger avait obligé tous ses répondants à se décider, on peut penser que les indécis se seraient répartis à peu près également, ce qui aurait gonflé les chiffres de la majorité et de la minorité, ce qui introduit déjà une petite distorsion. Mais il est statistiquement possible que les indécis se soient reportés plus massivement sur une des options, faisant basculer les chiffres de majorité à minorité ou vice versa.

C’est majeur. À mon avis, les indécis, comme les jeunes, méritent respect et rigueur.

Demain : L’heure avancée de CROP

Merci à l’alertinternaute André Allard
pour le néologisme escroperie.

Les commentaires sont fermés.

Les sondages, c’est aussi fiable que l’astrologie quotidienne, les prévisions météorologiques ou les perspectives économiques…

Ça ne fait que donner une idée de l’aperçu.

Ouais ben c’est pas très étonnant… Les sondages CROP sont dénués de valeur scientifique de par leur nature non-probabiliste et leur tendance généralement biaisée. On se doute bien que les sondeurs CROP-Gesca ont du recevoir un coup de fil d’en haut avant de mettre au point cette propag… ce sondage.

M. lisée, je vous cite :«Un beau geste de transparence, révélant cependant ainsi la nette sous-représentation des répondants de 18-24 ans dans le groupe des sondés.»
Si l’on fait abstraction de ce sondage et que l’on compare les votes à main levée tenus par les associations étudiantes, on constate qu’il y a une nette sous-représentation dans le nombre de personnes qui votent et le nombre total qui ont droit de vote. Ainsi, quand 87 étudiants, représentant 3000 étudiants, votent en faveur du boycott des cours et que, dans d’autres cas, ceux qui votent représentent 4% du nombre d’étudiants, peut-on appeler cela la démocratie totale? Quand il ne reste que 66 000 étudiants sont encore en boycott alors que plus de 315 000 ont terminé leurs cours, peut-on parler que les boycotteurs représentent la majorité des étudiants?
Quand Marois arbore le carré rouge de la minorité des étudiants, peut-on dire (et je le fais) qu’elle sera le premier ministre d’une minorité de citoyens et qu’elle ne prendra des décisions qu’en fonction de la minorité? Marois reproche au gouvernement d’avoir adopté une loi spéciale envers les étudiants, qu’a-t-elle fait quand elle a fait adopter une loi spéciale CONTRE LES INFIRMIÈRES EN 1999? La même chose que Charest. Pourquoi n’a-t-elle pas demandé aux étudiants de respecter les injonctions des tribunaux et la Loi? Que fera-t-elle quand des citoyens, qui ne font pas partie de la minorité étudiante, vont vouloir désobéir à une loi qu’elle fera voter et quel sera le sort réservé à ces personnes?

Je ne suis ni libéral ni péquiste, mais je considère qu’une démocratie ne fonctionne pas dans l’anarchie telle qu’amenée par les étudiants minoritaires avec l’aide des syndicats et l’appui moral du PQ.

Les sondeurs ne sont qu’une pâte à modeler l’opinion publique dans le sens voulu par leurs clients sur tout sujet, social, politique ou autres. Une bonne vieille élection…y a rien de meilleur pour éjecter la famille Libéral hors de l’Assemblée nationale.

Cher Jean-François,

Il faut que je te corrige un peu.

1)D’abord, le point important. Si on veut connaître l’opinion des jeunes, on ne se soucie pas de la proportion qu’il y a dans un sondage ou l’autre. On fait une enquête auprès des jeunes!!!1000 jeunes de préférence.

2)Chaque choix méthodologique des sondeurs a des avantages et des inconvénients. Par exemple, si on pondère de façon très fine pour s’assurer de représenter de petits groupes, comme je te l’ai expliqué, on risque de provoquer un autre problème, soit de donner trop d’importance à des personnes non représentatives. c’est l’envers de la médaille. Ainsi, dans le sondage Léger dont monsieur Léger m’a gentiment fourni le rapport, on a 46% de voteurs PQ chez les 18-24 ans et seulement 32% chez les 25-34 ans. Est-ce que ça veut dire que, tout à coup, à 25 ans on cesse d’être péquiste? que le sondage est biaisé? Pas du tout, seulement qu’avec de petits nombres, la marge d’erreur est tellement grande que tout peut arriver. Et avec un panel opt-in, c’est encore pire.
3)49,2% n’est pas une minorité, c’est une égalité, encore plus dans un groupe aussi petit, avec une marge d’erreur totale de 6,2%. Et donc, 57%-6%=51%; 49%+6%=55%. AUCUNE différence significative entre les deux chiffres. Bref, attention marge d’erreur (même si elle n’est pas appropriée pour ce type de sondage).
4)Pour le fait de permettre ou non la non-réponse, les recherches ont montré que ca ne changeait pas la répartition des pour et des contre. Encore là, les choix méthodologiques des deux sondeurs ont des avantages et des inconvénients.
Conclusion: Malgré tout, les trois sondages donnent la même lecture de l’opinion: a) La majorité des gens sont pour à peu près tous les éléments de la loi sauf les amendes très fortes. b) Par contre, ils ne pensent pas que la loi va aider à régler le conflit et globalement, ils sont partagés moitié-moitié sur la loi. Ils sont majoritairement pour la hausse mais lorsque l’on chiffre cette hausse (formulation Léger), l’appui est un peu plus bas.
D’autres questions?
Claire Durand

Re-Bonjour Claire,

Merci pour ces précisions. Je retiens cependant que tu m’as bien dit que la sous-représentation des 18-24 ans dans le sondage CROP était tel qu’il t’a « pété dans la face » quand tu l’as vu dans le tableau samedi matin, suffisamment pour que tu appelles tout de suite la direction de La Presse pour leur signaler le problème.

Tu m’as dit aussi ce que ce cite dans le blogue et a ajouté que, selon toi, CROP devrait modifier sa formule à l’avenir, car cela pose vraiment un problème.

Tu minimises maintenant la chose en calculant une « marge d’erreur » pour les 18-34 ans. Mais comme tu le soulignes aussi, et ce que disent en chœur CROP et Léger, la marge d’erreur ne s’applique pourtant pas aux sondages internet.

De façon plus importante,Youri Rivest de CROP affirme que s’il corrige la très grande sous-représentation des 18-24 ans dans son groupe de 18-34 ans, ça lui donne le même résultat. Il ne dit pas « dans la marge d’erreur », mais le même chiffre ! Je démontre qu’avec Léger, il est impossible de trouver le même chiffre en faisant ce calcul.

Finalement sur la différence entre 49% et 57% d’opposition à une loi. Je conçois bien que tu puisses juger que ces chiffres sont statistiquement équivalents. Mais comme tu le sais, ce n’est généralement pas l’opinion des titreurs de quotidiens.

bien amicalement,

Jean-François Lisée

La désinformation , l’escroperie des sondages vendus et la manipulation de la date de l’élection pour s’assurer le moins de participation possible sont des armes de destruction massives de la démocratie que connaissent très bien les très honnêtes libéraux qui sont à la barre du gouvernement présentement.

Après avoir importé d’Ottawa la « wedgwe politic » ou politique de division de la société pour des visées électorales avec le conflit étudiant qu’ils ont laissé pourrir pour conforter leur base électorale, il ne leur reste que les appels frauduleux à imiter , ça devrait être pour la prochaine élection qu’ils projètent le 9 juillet durant les vacances .

Un texte m’a été envoyé dernièrement faisant état d’une collusion possible entre Rad-Can et La Presse afin d’avaliser les résultats du sondage de La Presse, au dépens d’un autre, moins favorable à la loi spéciale.

Je vous soumets le lien.

http://78sondages.tumblr.com/

Les questions qui découlent de ce texte me paraissent fondamentales et complémentaires à votre texte.

L’échantillonage de base des 18-24 ans, chez CROP, est assez faible, donc les marges d’erreur pour ce groupe doivent être assez élevées. Selon un de leurs tableaux, seulement environ 3% de leurs 1500 répondants ont entre 18 et 24 ans, c’est-à-dire grosso modo 45 personnes (environ 16 à Montréal, 10.5 à Québec, et 17.5 ailleurs, selon les % arrondis). En sondant seulement 45 personnes, il ne serait pas étonnant que CROP ait obtenu un résultat très différent du 73% contre de Léger. Cela pourrait expliquer le fait que les conclusions globales de CROP ne changent pas en recalculant avec une pondération appropriée des 18-24 ans.

Assez d’accord avec Madame Durand pour la pondération. Le biais aurait pu être autre. Mais pour une question qui touche particulièrement les jeunes, il aurait été important soit de s’assurer d’avoir un % qui reflète sa proportion dans la population… ou d’avoir indiqué ce manque dans l’interprétation des résultats. Ce qui ici n’a pas été fait… ce l’est rarement d’ailleurs.

remidam

Quand j’étais au cégep (Maisonneuve 1972-1974) les assemblées générales avaient un quorum et le code Morin était scrupuleusement suivi.

Alors votre 87 sur 3000 c’est de la bouillie pour les chats.

À quand un retour en arrière sur les « prédictions » de Crop à partir de ses sondages au cours des cinq dernières élections générales au Québec ? Je suis un ancien journaliste de 70 ans. J’ai vu passer une énorme quantité de sondages Crop dans ma carrière. Curieusement, je n’en garde pas de souvenir de probité. Encore aujourd’hui, quand j’en vois un dans La Presse, je me dis : »Tiens, un autre sondage farfelu qui va affirmer que la Terre est plate ».

Jean-François, tu triches tellement avec les faits dans ce billet que je suis tentée de te retourner le qualificatif que tu avais accolé à Bourassa dans ton désormais célèbre livre.
Mme Durand ne nous a pas «parlé au téléphone» vendredi. Elle est venue nous rencontrer pendant deux heures, à notre demande. Nous avons passé le sondage question par question. Son vedict: excellent sondage. Question très bien rédigées.
Elle nous a bien dit vendredi que les jeunes étaient sous-représentés, mais elle a aussi ajouté, et elle me confirme te l’avoir dit à toi aussi, «que ça ne pouvait pas vraiment changer les résultats du sondage de façon
importante». Elle a elle aussi vérifié la pondération auprès de Youri Rivest, et, me dit-elle, «comme je le prédisais, ça ne change rien».
Curieusement, cela ne se retrouve pas dans ton billet.
Pourquoi es-tu si sélectif dans l’information que tu diffuses concernant les
sondages publiés dans La Presse?
Katia Gagnon
Directrice des informations générales, La Presse

Chère Katia,

D’abord un mot pour dire que je ne mets pas en doute ton intégrité ni celle des membres de la direction de l’information de La Presse.
Je crois que vous êtes des victimes dans cette affaire.

Maintenant sur tes arguments:

Tu dis:
« Mme Durand ne nous a pas «parlé au téléphone» vendredi. Elle est venue nous rencontrer pendant deux heures, à notre demande. Nous avons passé le sondage question par question. Son vedict: excellent sondage. Question très bien rédigées. »

Je ne le conteste nullement.

Tu dis
« Elle nous a bien dit vendredi que les jeunes étaient sous-représentés, mais elle a aussi ajouté, et elle me confirme te l’avoir dit à toi aussi, «que ça ne pouvait pas vraiment changer les résultats du sondage de façon importante». »

Claire n’a vu la pondération que samedi matin, et non vendredi, et elle a communiqué avec vous pour dire que cela posait problème.
La raison pour laquelle le résultat final est substantiellement le même est que CROP a fait une seconde erreur, en sens inverse, sur la représentation des répondants plus âgés. C’est ce que Claire m’a dit et c’est ce que j’ai écrit. Cela n’excuse en rien le manque de rigueur de CROP. Je suis surpris que tu prennes si peu de distance envers ceux qui ont fait ces erreurs.

Tu dis:
« Elle a elle aussi vérifié la pondération auprès de Youri Rivest, et, me dit-elle, «comme je le prédisais, ça ne change rien».
Curieusement, cela ne se retrouve pas dans ton billet. »

J’ai moi aussi parlé à Rivest et il m’a affirmé que cela ne changeait rien. Je lui ai demandé les tableaux. Il refuse de les donner. Tout cela est dans le billet.

Tu dis:
« Pourquoi es-tu si sélectif dans l’information que tu diffuses concernant les sondages publiés dans La Presse? »

Je te ferai remarquer que j’ai publié les commentaires de Claire, les tiens et ceux de Youri Rivest. J’ai aussi placé un appel à ton patron Eric Trottier en matinée, qui ne m’a jamais été retourné.

Je parlerai demain de sondage publiés par CROP ailleurs que dans La Presse. Encore une fois, je ne crois pas que vous soyez en cause.
Cela étant, j’aurais espéré que tu fasses preuve de davantage de sens critique envers les erreurs méthodologiques de CROP.

Claire indique clairement : »Je pense qu’ils doivent essayer de corriger cette sous-représentation, possiblement en surreprésentant ce groupe dans l’échantillon de départ ou en demandant à leur fournisseur d’essayer d’en recruter plus dans le panel. »

Je te vois moins sévère qu’elle envers CROP et plus envers moi. Pourquoi cette attitude si sélective ?

Amicalement,
Jean-François

Ce qui est fabuleux, c’est que Jean Charest dirige le Québec sur la base des sondages…

Cher Jean-François,
> Merci pour ces précisions. Je retiens cependant que tu m’as bien dit que la sous-représentation des 18-24 ans dans le sondage CROP était tel qu’il t’a « pété dans la face » quand tu l’as vu dans le tableau samedi matin, suffisamment pour que tu appelles tout de suite la direction de La Presse pour leur signaler le problème.
>
Pété dans la face oui. Pas pour que j’appelle tout de suite la direction, simplement que j’envoie un mail un peu plus tard, le temps de penser à l’impact. Je leur ai dit ce que je t’ai dit, i.e. ca parait mal mais la conséquence sur les résultats globaux est pratiquement nulle.
>
> Tu m’as dit aussi ce que ce cite dans le blogue et a ajouté que, selon toi, CROP devrait modifier sa formule à l’avenir, car cela pose vraiment un problème.
>
Je pense qu’ils doivent essayer de corriger cette sous-représentation, possiblement en surreprésentant ce groupe dans l’échantillon de départ ou en demandant à leur fournisseur d’essayer d’en recruter plus dans le panel. Mais comme je te l’ai dit, ca ne porte pas à conséquence sur les données d’ensemble.
>
> Tu minimises maintenant la chose en calculant une « marge d’erreur » pour les 18-34 ans. Mais comme tu le soulignes aussi, et ce que disent en chœur CROP et Léger, la marge d’erreur ne s’applique pourtant pas aux sondages internet.
>
Mieux vaut calculer une marge d’erreur que de laisser croire qu’il n’y en a pas. En fait, j’ai réalisé dernièrement que certaines personnes pensent que, lorsque l’on dit qu’il n’y a pas de marge d’erreur, ca veut dire que les chiffres reflètent exactement la population! En France, dans les sondages par quotas – ce qui est le cas ici — ils disent « Empiriquement, les résultats montrent que la marge d’erreur est sensiblement la même que pour les sondages probabilistes ». Je pense que je vais finir par me rallier à cette formulation.
>
> De façon plus importante,Youri Rivest de CROP affirme que s’il corrige la très grande sous-représentation des 18-24 ans dans son groupe de 18-34 ans, ça lui donne le même résultat. Il ne dit pas « dans la marge d’erreur », mais le même chiffre ! Je démontre qu’avec Léger, il est impossible de trouver le même chiffre en faisant ce calcul.
>
Je présume qu’il veut dire que ca lui donne le même chiffre au total. Par ailleurs, le groupe des 18-24 ans de Léger me semble biaisé. Ca serait très étonnant que les 18-24 ans se distinguent à ce point des 25-34 ans. Donc prudence.
>
> Finalement sur la différence entre 49% et 57% d’opposition à une loi. Je conçois bien que tu puisses juger que ces chiffres sont statistiquement équivalents. Mais comme tu le sais, ce n’est généralement pas l’opinion des titreurs.
>
Parlons-en des titreurs. Good Grief! Je suis certaine que tu les aimes autant que moi!:-)

Tu comprendras que je voulais seulement apporter des précisions. J’essaie de passer toujours le même message, soit que les choix méthodologiques ou même les problèmes méthodologiques et les biais d’échantillons sont toujours présents. Personne n’est à l’abri. Il faut essayer d’évaluer leur impact, tout simplement.
Claire Durand

Le principal problème de la plupart des sondages faits par CROP, c’est qu’ils sont non-probabilistes. En procédant par Internet, à partir d’une liste de noms (sans doute toujours la même d’ailleurs), CROP viole la règle de base pour avoir un sondage qui a une valeur scientifique, à savoir que chaque personne qui fait partie de la population sondée doit avoir une chance égale d’être interrogée. En limitant un « sondage » aux seules personnes inscrites sur la fameuse liste, on ne peut par la suite tirer des conclusions qui s’appliquent au reste de la population. Que faut-il en retenir? Que sur le plan scientifique, ces sondages n’ont aucune valeur et que les propos des personnes qui tirent des conclusions à partir de ce genre de « sondage » ne sont pas fondés. Malheureusement, le citoyen moyen n’en a aucune idée…

@ remidam

La porte parole en matière de justice, la brillante députée de Joliette Véronique Hivon, a présenté une motion adoptée par l’Assemblée nationale relativement au respect des injonctions.

Voila! rectification faite!

Les sondages, c’est de la bouilli pour chat.

Je ne comprend pas pourquoi les journalistes, censé avoir un esprit critique, utilise encore cette outil défectueux. Est-ce le temps qui leur manque, la paresse, l’aspect spectaculaire?

Premièrement, les sondages, par leur questions et leurs choix de réponses dirigent les réponses et fausses les données.

Deuxièmement, le simple fait d’imposer cette question sans laisser la personne réfléchir de la chose et surtout d’en discuter nous donnent une réponse peu éclairé.

Troisièmement, les choix politiques que nous faisons sont complexes. Simplement faire la somme des choix d’un petit échantillon et l’étendre à toutes la population est malhonnête.

Quatrièmement, le sondage n’est qu’une photographie de l’instant présent. Une journée après avoir été conçu, il n’est déjà plus valide, l’actualité a déjà changé.

Le sondage n’est qu’un outil de manipulation des masses. CROP nous arrive un matin et nous dit: «Voilà, les Québécois croient…». CROP nous dit quoi croire et quoi penser. L’effet de vague ira chercher les plus indécis, c’est l’effet bandwagon.

On l’a vu avec Legault et le NPD, les deux ont été monté au nue grâce à des sondages dont la rigueur était remise en doute.

M. Lisée, je trouve déplorable que vous vous adonniez aux mêmes pratiques douteuses dont vous accusez les boîtes de recherche, soit d’interpréter les résultats de manière biaisée. On tente de trouver des “bibittes” dans les sondages qui vont à l’encontre de nos positions morales, mais qui, dites moi, se serait attardé à dénoncer un sondage qui aurait publié qu’une majorité de Québécois sont contre la loi… Et ce même si il y a sur-représentation de péquistes…

N’est-il pas triste que l’on vote uniquement pour voir si les sondages ont raison ?

Mme Durand,

Oui j’ai d’autres questions, comme il est possible de faire dire ce que l’on veut aux chiffres, j’aimerais comprendre comment vous êtes en mesure d’arriver à des conclusions qui semblent hors de tous doutes, à partir de sondages?

« C’est la théorie qui décide de ce que nous sommes en mesure d’observer. »
Albert Einstein

Dès que l’on gratte un peu, toutes ces statistiques apparaissent bien fragiles. Qu’on change de définition et les demandeurs (d’emplois) et leur nombre augmente de 300 000; qu’on élargisse les critères et on en compte 150 000 de plus. Mais alors quel est le vrai chiffre? Il faut bien admettre qu’il n’existe pas. Ce qu’on appelle bien improprement des “données” ne sont pas le reflet du réel, mais des constructions sociales. Derrière le moindre chiffre, il y a un choix et un jugement sur ce qui compte.

Dossier: Les chiffres sont-ils fiables? Alternatives économiques, no 245, mars 2006, p. 52

Deux précisions.
1) Je n’ai pas vu la « pondération » le samedi matin mais bien la répartition des groupes d’âge.
2) Je n’ai jamais parlé d’erreur méthodologique ni de Crop ni de Léger d’ailleurs. J’ai parlé de biais d’échantillon qu’il fallait questionner et dont il fallait évaluer l’impact.
Au plaisir

Je trouve invraisemblable que le pourcentage de répondants âgés de 18-24 ans soit aussi faible! Je me demande si ça leur arrive souvent chez CROP d’avoir des pourcentages aussi faibles chez les 18-24 ans. Est-ce que le taux de réponse est plus faible dans ce groupe d’âge ou bien c’est leur panel web qui n’est pas très représentatif de la structure d’âge de la population?

Aussi, au début du document, c’est écrit que les résultats sont pondérés selon l’âge. Je me demande si leur pondération est faite à partir du regroupement « 18-34 » ans. Si oui, il me semble que c’est problématique. J’ai de la misère à croire que les résultats puissent être les mêmes chez les 18-24 ans et 25-34 ans comme l’affirme Youri Rivest. D’autres sondages ont montré que l’appuie à la cause étudiante variait beaucoup selon l’âge.

Bref, si la pondération a été faite à partir du groupe des 18-34 ans, il me semble qu’il doit effectivement y avoir un certain biais et que les 18-24 ans sont sous-représentés. Sauf qu’avec seulement 45 personnes entre 18-24 ans, la précision des résultats pour ce groupe ne doit pas être très bonne. Je me demande si ça aurait été possible pour eux de faire un échantillonnage stratifié?

Monsieur Lisée,

Ce matin, vous nous avez proposé une nouvelle matrice de pondération. De bonne foi et par curiosité professionnelle, nous l’avons testée.

Comme je vous l’ai dit, les résultats n’en sont pas affectés. Au global, l’appui aux étudiants (Q3) demeure à 36% et l’appui à la loi 78 (Q3a) à 51%.

Pour ce qui est des 18-34 ans, l’effet de votre matrice de pondération est de + 0.6 point de pourcentage pour l’appui aux étudiants et +1.8 point pour l’appui à la loi. Compte tenu de la faiblesse de la base échantillonnale, nous considérons qu’il n’y a pas de différence et que ça n’affecte en rien l’interprétation.

Pourquoi? La différence entre les opinions des 18-24 ans et celles des 25-34 ans est présente, mais beaucoup plus nuancée que dans le sondage de Léger Marketing auquel vous faites référence. D’ailleurs, dans notre sondage, les 18-24 ans ne sont pas péquistes à hauteur de 46%. Est-ce que notre sondage a raison et celui de mon confrère tort? Non. Ce sondage n’est tout simplement pas conçu pour révéler l’opinion des jeunes mais bien pour refléter celle de l’ensemble des Québécois.

Bien des gens disent que l’on peut faire dire ce que l’on veut aux chiffres. Notre travail de sondeurs vise pourtant à faire usage de rigueur et de méthode afin de mesurer l’opinion publique de la façon la plus juste possible. Les chiffres ne livrent pas toujours les conclusions que vous recherchez, mais ce n’est pas en tripotant les résultats que vous parviendrez à illustrer votre propos.

Youri Rivest

M. Rivest,

En somme, il y a trois questions:
1) CROP a-t-il considérablement sous-représenté les 18-24 ans ? La réponse est oui. Il n’y a pas de débat.
2) La réponse globale est-elle modifiée ? Vous dites que non, sans nous montrer vos nouveaux calculs. Il faut vous croire sur parole. Mais même en ce cas, votre réponse globale n’est pas modifiée car votre sous représentation des 18-24 est compensée par votre sous-représentation des aînés. Vous êtes donc sauvés par le cumul des erreurs.
3) La réponse, telle que publiée par La Presse, sur l’opinion du groupe des 18-34 aurait-elle été différente sans cette sous-représentation ? Votre réponse est Oui: de +1.8 points sur une des deux seules questions pour lesquels vous nous présentez un nouveau calcul, qu’il faut croire sur parole. Donc vous admettez que les chiffres remis à La Presse sont inexacts sur au moins ce point.

Finalement,vous pouvez croire user de « rigueur et de méthode » en préparant sur une crise étudiante un sondage qui sous-représente spécifiquement leur groupe d’âge. Mais souffrez que d’autres ne partagent pas cet avis.

Jean-François Lisée

Petite anecdote dont je me souviendrai longtemps

En 2007, un an après la parution du manifeste des lucides, je suis invité (par la FAECUM, elle-même invitée par l’UdM) à un dîné organisé par le groupe en question pour le dévoilement d’un sondage portant sur les propositions contenues dans le manifeste.

Le président de CROP dévoile alors les résultats et tente de les expliquer. Les résultats sont mauvais pour la plupart des questions, incluant en ce qui a trait au privé en santé et sur la hausse des droits de scolarité (de mémoire, environ 58% des gens s’y opposaient).

Devant cette foule déconfite, il tente alors de se justifier et dit environ ceci: « on a tout essayé pour favoriser les résultats qu’on voulait obtenir et on a tourner les questions à la limite de ce que permet notre intégrité en tant que maison de sondage… que voulez-vous, on n’y est pas arrivé »

J’étais ébahis! Dans la salle, de nombreux journalistes, dont André Pratte qui eut cette réaction : « bon ben il semble que les québécois n’aient pas encore compris ce qui est bon pour eux… on se relève les manches, on se crache dans les mains et on recommence! »

Évidemment, rien ce grand manque d’éthique avouée de la part d’une des plus grandes maisons de sondages au Québec n’a transpiré dans La Presse le lendemain.

Jean-François Lisée sait trÈs bien qu’il a tord sur toute la ligne, il a travaillé avec le PQ et il sait comment lire et interpréter un sondage.

Mais Lisée est aussi devenu un spin-doctor pour le PQ et ce qyu’il fait c’est du spin. Il sait qu’il raconte des faussetés mais il sait aussi que son point sera facile à défendre chez les gens qui ont une connaissance limité de la science des sondage.

Dire qu’il y a 17% de jeunes dans la population contre 2,6% dans les sondages ça frappe (même si cette observation a peu de valeur scientifique). Il sait que pour se défendre ceux qui connaissent les sondages devront parler de méthodologie complexe de pondération et de facteur d’erreur et d’écart statistiquement significatif ou non.

Bref, Lisée a un « talking point » simple, bien que faux alors que ceux qui ont raison doivent utiliser des explication complexe qui demande un minimum de connaissance pour être comprise.

Em bref, c’est une tactique assez honteuse pour toute personne avec une pensée rationnelle et critique mais qui passe parfaitement dans le grand public.

C’est assez dégelasse de manipuler l’opinion public de la sorte mais c’est ce que font les politiciens…

« Les chiffres ne livrent pas toujours les conclusions que vous recherchez, mais ce n’est pas en tripotant les résultats que vous parviendrez à illustrer votre propos. »

Wow. Ça fesse. Et vlan dans les dents :s

J’Ai une question pour M. Rivest.

Pourquoi est-ce qu’on a l’impression que les résultats des sondages CROP sont toujours biaisés? Beaucoups de personnes pensent que CROP essaient d’influencer la politique Québécoise et Canadienne.

Si votre sondage est d’une rigueur exemplaire, pourquoi ne pas le faire par téléphone avec une marge d’erreur.

Présentement, je pourrais ouvrir un site et demander aux gens de voter sur différents sujets. Et je serais pas loin de vos résultats sans vouloir vous offusquer. On sait que certaines personnes dans l’entourage de Jean Charest essayent de fausser les résultats de certains sondages.

http://www.radio-canada.ca/nouvelles/Politique/2011/05/27/002-sondage-courriel-charest.shtml

Donc, je vous demande de la rigueur, oui, de la rigueur et de la transparance mon cher Monsieur Rivest.

Je demande également la même chose à Léger Marketing, d’effectuer des sondages téléphonique pour les prochaines élections avec UNE MARGE D’ERREUR, pour ne pas biaiser les résultats et d’être neutre.

On constate bien que lorsque Jean-François s’éloigne des sciences molles et tente de s’approcher un tant soit peu des FAITS mathématiques,objectifs, palpables et concrets, qu’il perd drôlement de sa superbe et que sa contenance devient aussi molle que la discipline qu’il a étudiée.

Je vous l’ai pourtant écrit à plusieurs reprises, Jean-François: demeurez dans l’élément que vous matraîsez bien, la pensée magique.

Après le match Trudeau/Brazeau, voici le combat de boxe méthodologique Lisée/Rivest; à combien sont les cotes pour les paris?…. et la précision des cotes? marge d’erreur de 3% 19 fois sur 20?

Je crois que la première question posée au sondage devrait être avez-vous VRAIMENT suivi la question des droits de scolarité ? Et la deuxième avez-vous pris le temps d’écouter ce que l’adversaire a à dire comme arguments ? C’est facile d’un coté de prétendre qu’on a absolument besoin de plus d’argent dans les unviversités sans en apporté la preuves, et de l’autre de prétendre avoir seulement besoin d’indexer la hausse des droits de scolarité sans démonstration à l’appui.

C’est très intéressant, mais vous avez oublié un biais majeur qui fait que je n’ai aucun respect pour les sondages en ligne. Il est claire que les gens ne pouvant s’offrir internet (52,7% des familles gagnant moins de 30,000$ n’ont pas internet en 2010) n’auraient peut-être pas la même opinion sur un sujet économique que les plus riches (97% des familles gagnant plus de 87,000$ ont internet en 2010).
(reférence http://www.stat.gouv.qc.ca/savoir/indicateurs/tic/menages/utilisation_revenu.htm)

De plus, les mots choisi pour poser une question et l’ordre dans le quel sont poser les questions peuvent aussi amener un biais. Pensons au sondage qui a demandé au gens si ils étaient prêts à payer plus d’impôts pour éviter une hausse des frais de scolarité et ensuite leurs demander si ils sont pour cette même hausse. Ceci laisse entendre, de façon plus ou moins inconsciente, que la seule façon d’éviter une hausse de frais de scolarité est en augmentant les impôts ce qui est faux. Et amène plus de gens à se positionner contre simplement parce qu’ils ne veulent pas payer plus d’impôts.

Enfin, même si le sondage serait le moins biaisé possible, il reste que c’est indicatif. Certaines variable peuvent être omis en ne les croyant pas important ce qui change la représentativité.

@David # 31

Vous me faites penser aux créationnistes qui ont développé toute une batterie d’arguments pour déefendre leur croyance et pourfendre, évidemment, la théorie de l’évolution, le tout s’appuyant à profusion sur des sophismes ou sur des arguments d’autorité. Pas fort …

@ remidam # 3

Alors que pensez-vous du système de vote des députés à l’Assemblée nationale ? Que pensez-vous aussi du vote obligatoire selon la ligne de parti? Y voyez-vous beaucoup de démocratie ?

N’oublions pas que généralement les absents ont toujours tort.

Question chiffres, marges d’erreur, données significatives et distinction entre l’écorce de l’arbre et la forêt, je me fie pas mal plus à Rivest qu’à Lisée.

Si Rivest avait eu une proportion exacte de jeunes de 18 à 24 ans, Lisée lui aurait sans doute demandé si la proportion hommes/femmes était représentative, ou si la proportion Montréal/région était représentative.

Quand Rivest pointe le doigt vers la lune, Lisée se fixe sur le doigt et y voit, bien sûr, bien des défauts.

Par ailleurs, ce Lisée, toujours prêts à voir des problèmes (dont plusieurs sont bien sûr réels, mais pas nécessairement significatifs eu égard au petit nombre de sondés et aux marges d’erreurs finales) dans tout sondage qui ne penche pas du bon bord, est cependant près à faire l’indépendance du Québec sur la base d’un vote référendaire ponctuel ou le oui remporterait 50,5 % des voix sur la base d’une saute d’humeur passagère de la population!

Plus démagogue non sérieux que ça, c’est difficile à imaginer.

Beaucoup de diplômés de sciences molles sont aux chiffres ce que les alchimistes sont à la chimie.

Les sondeurs ne comptent pas ceux qui les envoient paître, par principe : moi.

Le but des sondages est d’entretenir l’idée au sein des populations qu’on tient compte de leur avis.

En fait, le sondage sert à faire bien comprendre qu’une idée minoritaire est forcément risible ou dangereuse.

Le sondage est une entreprise de gestion de l’opinion foncièrement antidémocratique. Le recours systématique au sondage s’explique par l’hostilité (camouflée) des groupes hégémoniques au pluralisme qui les menace (toujours).

Les sondages sont également utilisés par les marchands de produits : pourquoi, croyez-vous?

Il y a au moins une chose sur laquelle TOUS les sondages sont unanimes: la population a énormément plus confiance aux policiers qu’aux journalistes comme M. Lisée. Je pense que le degré de confiance envers les policiers est de l’ordre de 80 % alors que le degré de confiance envers les journalistes est de l’ordre de 30 ou 40 %… peu importe la maison qui sonde…

@Alain Carré

J’aimerais bien que M. Cormier réponde à votre question parce que je me la pose également. Je ne vois pas en quoi il est pertinent de faire des « sondages » dont les résultats n’ont aucune valeur scientifique, comme c’est trop souvent le cas avec CROP.

François 1

A part vos insultes habituelles je ne vois aucun argument qui confirme votre commentaire.
Aucun chiffre,correction sur les failles supposées de l ‘analyse de M.Lisée ou tout autre fait prouvant qu’il est dans l’erreur.

A tout prendre j’aime mieux la pensée magique que l’absence de pensée.

J’ai aussi noté que les non-francophones représentaient 29% (de mémoire) des répondants. Est-ce leur poid démographique au Québec? Sans sombrer dans la xéophobie primaire, ils sont aussi majoritairement pour la hausse.

On constate que nos fédérâleux habituels perdent de leur superbe quand leur maison de sondage favorite se fait mettre en canne. Faut dire que les faits (les vrais) comportent un élément gênant: il y a eu 2 sondages CROP qui donnent des résultats très différents et même le deuxième a encore des vices méthodologiques. On peut comprendre CROP: s’il fallait que la réalité soient encore plus éloignée de leur premier sondage, ça deviendrait embarrassant!
Alors aussi bien qualifier de “science molle” ceux qui mettent le doigt sur les nombreux vices méthodologiques et les contradictions de cett maison de sondage. C’est plus facile que d’apporter des faits (oui, des vrais faits!) pour étayer une quelconque argumentation.
Pour ce qui est de l’antagoniste net en chef, il ne fait que répéter sa position politique. C’est ce que font tous les propagandistes payés!

On a toujours été des esclaves des baby-boomers,de leur parents et certains de leur enfant. Beaucoup d’entre eux ne regarde que la tv et sont controlés par les médias de masse qui appartiennent a powercorp et quebecor. On va devoir attendre la mort de tout ces gens et ensuite, ils restera pus rien au québec..

Ils vont avoir tout siphoner et détruit comme ils ont fait partout dans le monde..

triste réalité.. j’esperait qu’ils allaient se reveiller avec le présent conflit et les casseroles mais ils sont tout simplement dur d’oreille et pogner devant leur tv et avoir peur des jeunes etc…

Il faut esperer qu’au moment du vote.. qu’un brin de conscience apparait et qu’ils vote PQ..

À ceux qui se demandent pourquoi CROP ne fait plus de sondages par téléphone, la réelle raison est très simple: ça coûte cher et c’est long, faire un sondage « scientifique » (dans le sens qu’on peut calculer la marge d’erreur et faire des analyses statistiques plus poussées avec les résultats). À quoi bon faire un bon sondage long et coûteux alors que la majorité des gens qui voient les résultats des sondages peu coûteux et rapides s’en satifont, particulièrement parce qu’ils peuvent avoir les résultats un ou deux jours après l’événement sondé? C’est un manquement éthique, à mon avis, mais ça suit la logique du « rendement optimum ».

Que pensez des sondages lorsque ceux-ci se trompent constamment dans leur «prédictions» ??? Voyez les dernières élections en Alberta ou l’extrème droite était supposé prendre le pouvoir avec force… Ou encore la rentrée flugurante du NPD au Québec lors de dernières élections fédérales. Nos politiciens seraient mieux de gouverner honnètement en faisant la promotion des valeurs pour lesquelles ils ont été élus au lieu de sniffer le vent pour voir de quel coté il souffle…

De toute manière, encore faudrait-il que la loi 78 ait été bien expliquée dans les médias. Parce qu’en ce moment, les gens croient qu’elle se résume à baliser les manifestations, et je peux comprendre que pour plusieurs, ça semble tout à fait normal. Mais peu de gens semblent au courant des articles 9 (Henri VIII) et 25 (inégalité des citoyens devant la loi) entre autres… D’où une opinion publique qui ne semble pas massivement comprendre en quoi cette loi est scandaleuse.

J’aimerais bien que Mme Durand et M. Rivest m’expliquent depuis quand les résultats d’un sondage non-probabiliste permettent de faire des inférences.
Pour citer Statistiques Canada, dans les sondages non-probabilistes:
» Toute utilisation d’une telle statistique descriptive doit indiquer clairement qu’elle n’est applicable qu’à l’échantillon faisant l’objet de l’étude et qu’elle ne peut être généralisée, et que l’échantillon ne peut en aucun cas représenter, par inférence, une population plus importante. »
http://www.tpsgc-pwgsc.gc.ca/rop-por/rapports-reports/comiteenligne-panelonline/page-03-fra.html

Les plus populaires