Le Grandéba (2e partie) : Biais… Des questionnaires qui interrogent moins qu’ils ne disent comment penser.

Lire ou écouter ou télécharger la première partie  de cet article.

Le Grandéba est soi-disant une consultation, sans avoir les caractéristiques qui permettraient complètement de le dire, comme on l’a vu dans la première partie.

Mais s’affirmant comme tel, on peut lire les questionnaires mis à disposition dans ce cadre.

Et à la lumière de ce qu’on sait des biais pouvant se produire dans les consultations en générale, dont l’exemple type est le sondage, nous allons voir que ces questionnaires sont susceptibles de produire certaines réponses plutôt que d’autres, de déclencher certains effets. Et donc, de donner une image de la réalité qui ne corresponde pas à celle-ci.

Commençons par les biais sondagiers, c’est à dire les biais liés au fait qu’on soit dans un questionnaire et que les modalités de ce questionnaire peuvent influencer les réponses.

Tout d’abord, le biais d’échantillonnage :

Lors de l’élection présidentielle américaine de 1936, la revue Literary Digest procède, à partir de l’annuaire téléphonique à un « vote de paille », auprès de 10 millions de personnes. Il leur demande de se prononcer en avance pour leur candidat favori: Roosevelt, le candidat de gauche, est donné perdant.

Mais cette méthode qu’on estimait fiable en raison de la taille de l’échantillon, des millions de personnes, se trompe lourdement : Roosevelt obtiendra 62 % des voix.

Au contraire, l’institut Gallup, à partir d’un échantillon beaucoup plus petit mais dit représentatif, c’est à dire respectant la composition sociologique de la société prédit l’élection de Roosevelt. C’est le début de la méthode des quotas dans les sondages.

La méthode du Literary Digest a souffert d’un biais échantillonnage. En 1936, avoir le téléphone est le signe d’une certaine aisance financière et piocher des noms dans l’annuaire plutôt que sur les listes électorales, c’est sur-selectionner des gens de droite. L’annuaire n’est pas représentatif de la société.

Et, de nos jours, Twitter non plus, donc les mentions du type « RT pour plus de représentativité » après une question posée -bonjour le paradoxe- à ses propres followers, est inepte.

Le Grand Débat va rencontrer le même problème. Je le disais en première partie, ce questionnaire ce sont 4 listes de questions, 84 questions au total, auxquelles répondre par écrit ou en ligne.

En lançant une pétition dans mon quartier, je me suis rendu compte qu’une personne sur 10 à une personne sur 15 avait du mal à la lire ou à y écrire son nom. Ça m’a frappé… Et je suis allé voir les chiffres, et en fait c’est représentatif de la situation en France. 7 % de la population adulte âgée de 18 à 65 ans ayant été scolarisée en France est en situation d’illettrisme, soit 2,5 millions de personnes en France Métropolitaine.

Mais avant de les lire ou d’écrire dessus, ces questionnaires, il faudrait y avoir accédé. On estime à 13 millions, donc une personne sur 5, le nombre de personnes éloignées du numérique, dont 6,7 millions ne se connectent jamais à internet. 1 personne sur 10. Parmi elles, les non-diplômés, les personnes âgées, les détenus, les sans-abri, les personnes en zones rurales sont sur-représentées.

Outre que cela donne à réfléchir sur la dématérialisation des démarches administrative qui nous est présentée comme une solution merveilleuse, cela indique aussi que, par sa simple modalité, Emmanuel Macron biaise l’échantillon de sa consultation. Quand bien même il attire l’attention sur le fait qu’il faut y prendre garde, il affaiblit d’emblée la représentation de certaines catégories de personnes dans la consultation. Catégories qui, à l’inverse, me semblent tout à fait représentées dans les mouvements sociaux actuels…

Quant aux autres modalités d’expression, cahier de doléance en mairie, prise de parole dans des réunions publiques, on pourrait leur faire le même type de reproches tant elles demandent d’avoir des moyens et dispositions d’esprit qui ne sont pas très répandues dans les classes populaires. D’autant moins répandues que ces classes sont déjà habituées à être ignorées ou absentes des débats, à la télévision ou même dans les instances de démocratie locale.

Ainsi quand bien même des centaines de millier de personnes participeraient à l’opération Grand Débat, ça ne lui donnerait pas pour autant une juste représentativité. Pas plus que le vote du Literary Digest. Car, il est crédible, comme, aussi, dans un sondage Twitter, qu’on ait une sur-représentation des sympathisants LREM. Et on peut d’ors et déjà affirmer que, sur la base de ce biais de sélection, il sera abusif de dire que ce qui en sortira sera l’expression populaire au sens du peuple pris dans son entier. Et ceux et celles qui seront passés sous les radars, sont ceux et celles qui justement, pour une bonne part, auraient peut-être eu des réserves à émettre sur le macronisme.

Faire une réelle consultation est assez difficile et demande des moyens mais c’est possible. Et ces moyens, on peut supposer que l’État les aurait. Mais sur une opération de ce type, on doit se rappeler que l’ampleur finalement atteinte, la qualité, n’est pas celle des points les plus ambitieux mais celle de ses facteurs limitants. C’est une chose d’avoir de la puissance sous le capot mais la voiture ne vous mènera pas loin si elle a un pneu crevé. Ainsi, cette « consultation » prend des allures de « plébiscite » avant même qu’on se soit intéressé aux questions. Et les questions, c’est pire.

Ce que nous allons voir maintenant.

Avant de commencer, je voudrais vous signaler que je ne vais pas m’occuper de toutes les questions les une après les autres, ce serait trop long. Je vais surtout m’attacher à couvrir les biais majeurs que contiennent ces questionnaires en m’appuyant sur les question pour vous donner les exemples correspondant. Sachant, bien sûr qu’une même questions peut relever de plusieurs biais en même temps. Sinon, ça ne serait pas drôle ! Ce questionnaire est un festival…

Tout d’abord le biais de cadrage.

Chaque liste de question, et c’est heureux est précédé de quelques pages apportant des informations. Comme vu dans la partie sur les niveaux de participation, l’information est un préalable à la consultation. Mais encore faudrait-il que cette information soit complète et objective. Ça aussi c’est un défi.

Dans le doc sur la fiscalité, l’utilisation d’éléments de langage comme « Coût du travail » ou le survol en moins de 60 mots (56, exactement, j’ai compté…) du mécanisme de la progressivité de l’impôt sur le revenu, (56…mots…), l’orientation vers l’idée que « tout est trop élevé », sont des indicateurs de partialité ou d’incomplétude, ce qui revient un peu au même.

Et celle ci est quasiment assumée dans l’exposition des enjeux du débat où il est dit, en première ligne, que le gouvernement s’est fixé des objectifs dont celui de baisser la dépense publique de 3 %, de supprimer des taxes, de baisser des cotisations et que le débat doit servir, grosso modo, à expliquer pourquoi, à préciser quels impôts baisser et quels services publics supprimer.

En clair, le débat doit servir à vous faire accepter, et donner votre avis sur, ce qu’on avait de toute façon décidé de faire. Je vous renvoie à l’échelle de la participation de la partie 1 pour décider, où, objectivement, placer un dispositif qui, bien qu’appelé consultation, consiste à vous donnez des informations partiales avec ouvertement pour objectif de vous les faire accepter.

Mention spéciale pour la phrase : « Bâtir un consensus sur le bon niveau de fiscalité. » qui est présenté comme un objectif de l’opération Grandéba.

ça n’aura pas échappé aux facilitatrices et autres éducateurs populaire habitué-e-s à la difficulté et à la beauté qu’il y a dans l’obtention d’un consensus : Oser utiliser l’expression « Bâtir un consensus » dans un tel contexte, ça relève d’un culot tout particulier et d’un irrespect profond de ce que représente cette notion.

La suite, et bien le journaliste Nicolas Cori le résume bien dans son thread en date du 16 janvier. Sa phrase exacte est «  S’en suit un questionnaire où tout est faussé. »

Biais liés à la manière de poser les questions :

La question 1 du Questionnaire sur la Fiscalité.

« Quelles sont toutes les choses qui pourraient être faites pour améliorer l’information des citoyens sur l’utilisation des impôts ? »

Dans une consultation de qualité, on poserait d’abord la question « Pensez-vous que l’information des citoyens sur l’utilisation des impôts pourrait être améliorée? » Et si la personne répond oui, on lui pose la question suivante.

Ici, on présuppose que tout le monde aurait répondu « Oui » à cette question préalable.

C’est ce qu’on appelle une question suggestive.

Mais c’est aussi, 2e biais, une question absolue : « Quelles sont TOUTES les choses qui pourraient être faites pour améliorer l’information des citoyens sur l’utilisation des impôts ? »TOUTE. » Cette demande d’exhaustivité, c’est le type même de question qui a tendance à provoquer des abandons dans les questionnaires. En poser une en première position, c’est encore s’exposer au risque de sélectionner des gens, voire de rendre les questionnaire inexploitables par des méthodes statistiques rigoureuses.

La question 2 également est une question suggestive. « Que faudrait-il faire pour rendre la fiscalité plus juste et plus efficace ? » Présupposition : La fiscalité ne serait pas juste, ni efficace.

Ajoutons que l’accolement de ces 2 qualificatifs non plus n’est pas anodin, votre acceptation du premier favorisera l’acceptation du second. C’est ce qu’on appelle une séquence d’acceptation ou Yes Set. Alors que justice et efficacité relèvent de tableaux très différents. Vous pourriez trouver que la fiscalité est injuste mais efficace.

C’est aussi ce qu’on appelle une question à double volet. Les propositions d’amélioration que vous allez formuler vont-elle concerner la justice, l’efficacité, les 2. Une question, 3 possibilités d’interprétation.

On retrouve cette même erreur de double-volet plusieurs fois dans les questionnaires. Dans la question 15 sur la transition écologique, on la retrouve même 2 fois :

Que faudrait-il faire pour protéger la biodiversité ET le climat tout en maintenant des activités agricoles ET industrielles compétitives ?

Climat et biodiversité. Activités agricoles et activités industrielles.

Double volet, sur double volet, sans en avoir l’air cette question recouvre 9 interprétations possibles de la part du répondant.

Sans compter l’interprétation possible du mot « compétitivité ». Compétitivité qu’il n’est nulle part question d’interroger, nous faisant retomber dans l’erreur de la question suggestive.

Le problème du double volet, et a fortiori le double-double-volet, c’est qu’il rend immédiatement impossible toute interprétation pertinente des réponses. Justement parce que les questions sont elles-même susceptibles d’être interprétées.Et qu’il sera alors impossible de savoir à quoi se rapportera votre réponse.

Et on touche encore à un point majeur de défaut de ces questions, celui de l’interprétation du vocabulaire. A vocabulaire flou, réponse inutilisables, voire, en ce qui me concerne pour ce genre de chose, pas de réponse du tout.

Parce que, pour reprendre les exemples précédents, qu’entend-t-on par « Améliorer l’information des citoyens » ? Que signifie une « fiscalité juste et efficace » ? Et de quelle compétitivité parle-t-on ? Sur quels critères on l’évalue?

Question 19 Services publics : « Faut-il donner plus d’autonomie aux fonctionnaires de terrain ? » Est-ce que par autonomie, on entend la même chose que dans « autonomie  des universités » qui consiste à réduire leur financements ?

Question 14 Transition écologique : Qui doit être en priorité concerné par le financement de la transition écologique ? Que signifie « concerné » ? Parle-t-on de ceux qui la financeront ou de ceux qui toucheront des financements ?

Question 16 Démocratie : On demande de répondre par oui ou par non à la question « Faut-il transformer nos assemblées représentatives?» Mais « transformer » ça veut dire quoi ? On change la forme des hémicycles ? On tire au sort ? On arrête les débats la nuit ? On instaure une partie de saute-mouton à chaque rentrée parlementaire pour améliorer l’ambiance ?

Si je répond « Oui », ma réponse sera-t-elle utilisée pour légitimer une transformation opposée à celles que je voudrais. Au regard de tout le reste, on peut raisonnablement se poser la question. C’est ça, aussi, le risque du vocabulaire flou : L’instrumentalisation de votre réponse.

Je ne vais pas m’étendre là dessus, je vous renvoie à ma conférence gesticulée, car c’est un problème qui n’est pas propre à cette opération mais qui n’en reste pas moins grave, tout particulièrement…dans une enquête.

Biais cognitifs

Parlons maintenant de biais cognitif, c’est à dire d’une influence que le contexte peut avoir sur votre réflexion et donc votre réponse…

Le biais lié à l’ordonnancement des questions :

Dans son thread Nicolas Cori relève les questions 3, 4, 5, 6, 7 du questionnaire sur la fiscalité.

Cette séquence est une accumulation d’interrogations sur le même sujet, susceptibles de déclencher ce qu’on appelle un effet de halo.

Car il se trouve que la réponse à une questions peut être influencée par la réponse à une question proche précédente. Par une sorte d’autocensure, le répondant maintien une certaine cohérence de son expression en dépit de son propre et réel avis.

La question 2 demande : « Que faudrait-il pour rendre la fiscalité plus juste et plus efficace ? »

Il est alors très probable qu’une personne qui aurait accepté ce libellé réponde différemment à la question 3… Comment après une telle question cocher la case « Augmenter les impôts » à une demande de solution pour réduire le déficit public ?

La question 4 étant ensuite « Quels sont selon vous les impôts qu’il faut baisser en priorité ? »

La 5 et la 6 demandant quelles dépenses publiques, il faut couper.

Généralement les concepteurs de sondage cherchent à minimiser cet effet de contamination, en mélangeant les questions. Là, on est à l’opposé, il se dégage nettement qu’il s’agit de faire dire comment réduire les impôts et comment réduire la dépense publique. En passant, si on fait les 2, on ne « résout » pas grand-chose, en fait plutôt on « dissout » l’État.

Des biais cognitifs, il y en a bien d’autres qui sont susceptibles d’être déclenchés par ce questionnaire :

Le biais de disponibilité par exemple. C’est à dire le fait de se contenter des informations immédiatement à disposition et ne pas chercher de nouvelles informations avant de répondre.

Comment aller se cultiver avant de répondre à chacune des 84 demandes d’un questionnaire portant sur des thèmes aussi variés. C’est colossal.

Et les personnes qui sont contre le référendum d’initiative citoyenne au prétexte que les gens n’auraient pas le bagage nécessaire pour répondre à une question à la fois, après des semaines de campagnes d’information, devraient être montées au créneau pour verser de l’huile bouillante sur ce questionnaire.

Dans la question 2 Service publics, une liste longue comme le bras d’échelons administratifs.

Question 3 : « Pensez-vous qu’il y a trop d’échelons administratifs en France ? » 

Combo entre un biais d’ordonnancement et un biais de disponibilité.

Autre biais, le biais d’aversion à la dépossession. Car nous avons tendance à vouloir garder ce que l’on possède. Question 9 Fiscalité, après une bonne série de questions suggérant baisses d’impôts et de dépenses publiques : « Pour quelles politiques publiques, seriez-vous prêt à payer plus d’impôts ? » Je suis prêt à parier d’avance que la réponse « Aucune » arrivera assez massivement en tête.

D’autant que cette question, comme la suivante, et bien d’autres qui ne vont pas tellement dans le sens du gouvernement, sont des question personnalisées. On demande « Seriez-vous prêt à payer plus d’impôts pour encourager des comportements bénéfiques à la collectivité… ? » Ce qui a un impact différent de « Pensez-vous que les comportements bénéfique à la collectivité doivent être encouragé par un impôt… ? » Entre le oui et le non pas sûr que ce soit le même qui l’emporte suivant qu’on personnalise la question ou pas…

Vient ensuite le biais de primauté. Je ne l’ai pas mis au début parce que je suis taquin. Ce biais repose sur le fait qu’on donne un statut particulier aux premiers éléments présentés d’une liste . On y porte plus d’attention, parfois on s’en rappelle mieux, ce qui aboutit à leur sur-sélection, si on est amené à choisir dans une liste statique. Raison pour laquelle, dans un sondage de qualité (Oui, ça existe.), on mélange les propositions de réponses quand on s’adresse à différents répondants.

Le questionnaire du Grandéba est truffé de réponses à choix multiple. Et je suis prêt encore une fois à émettre le pari que, précédé par « la pollution de l’air », « les dérèglement climatiques », suivi par « la biodiversité », l’item « l’érosion du littoral » ne va pas arriver en tête des problèmes importants dans le domaine de l’environnement.

Cela nous permet de parler des biais liés non plus aux manières de poser les questions mais à celles de proposer les réponses.

Il y a d’abord la question ouverte, avec aucune proposition de réponse. Elles demandent une implication particulière, il faut y réfléchir et la question de l’expertise qu’on peut avoir du sujet compte particulièrement. Ainsi sur la question 16 Transition écologique :« Que pourrait faire la France pour faire partager ses choix en matière d’environnement au niveau européen et international ? » quelques éléments de guidage pour les néophytes en diplomatie environnementale auraient pu être utiles.

A l’inverse, on a la question fermée, à répondre par Oui ou par Non. Là encore, les opposants au référendum d’initiative citoyenne pour cause de « simplification excessive amenant une réponse sans nuance à une question complexe » devraient se faire entendre. Question 10 Service publique : Seriez-vous d’accord pour qu’un agent public effectue certaines démarches administratives à votre place ? Oui. Non. Alors que l’option « ça dépend de la démarche » aurait probablement eu du succès. La question 11, demandant de classer des nouvelles formes de service public en bonne chose ou en mauvaise chose relève aussi d’une forme d’absolu. Un espace itinérant de service public dans un bus n’est pas bon ou mauvais en soi, ça dépend de la situation.

Enfin, il y le QCM, le choix multiple de réponses. Qui est, bien sûr, suggestif, puisqu’on vous suggère des réponses. On dessine les contours de l’espace que votre pensée peut occuper pour répondre. Et pour être correct, il serait nécessaire d’y inclure systématiquement, au minimum, les items « Autre réponse : Laquelle ?» et « Ne se prononce pas. » Sans quoi, c’est ce qu’on appelle une suggestion en double lien, on vous enferme dans un espace de réponse sans vous signaler qu’il existe d’autres espaces. Les illusionnistes adorent bien faire ça pour forcer, un choix de carte par exemple.

Et bien ça, on le retrouve dans la fameuse question 15 Transition écologique, rappelez-vous la question à double-double volet : Où on vous demande des idées pour protéger on ne sait pas trop quoi tout en maintenant compétitive on ne sait pas trop quelle activités.

Et où on vous donne 3 options :

O-Cofinancer un plan d’investissement.

O-Modifier des accords commerciaux.

O-Taxer les importations.

Pas une de plus et en vous signalant en toute lettre, ultime coup bas, qu’il n’a qu’1 seule réponse possible.

Et tant pis pour toutes les idées et initiatives de transition déjà existantes ne relevant pas de ces options. Thatcher disait « There is no-alternative. » Macron nous donne la version 2.0 : «  Il y a que 3 options, les miennes. »

Et ce fonctionnement en double lien, on le retrouve à de nombreux endroits. Ce qui est rigolo, c’est que parfois, des questions à choix multiples se suivent et qu’elles ne sont pas rédigée de manière harmonisée en ce qui concerne la possibilité de laisser de la place à d’autres réponse que celles suggérées ou de ne pas se prononcer

Question 5 Dépense publiques (Déjà la question est gratinée, je vous laisse repérer le biais de disponibilité et le reste): « Afin de baisser les impôts et réduire la dette, quelles dépenses publiques faut-il réduire en priorité ? (Une seule réponse possible.)

O-Les dépenses de l’État.

O-Les dépenses sociales.

O-Les dépenses des collectivités territoriales.

O-Je ne sais pas.

Question 6  même questionnaire (Pareil, je vous laisse juger du biais d’ordonnancement avec la question 5): Parmi les dépenses de l’État et des collectivités territoriales, dans quel domaine faut-il faire avant tout des économies ? (Plusieurs réponses possibles)

O-L’éducation

O-La défenses

O-La sécurité

O-Les transports

O-L’environnement

O-La politique du logement

O-Autre, préciser :

Question 5, on peut ne pas savoir. Question 6, non.

Mais question 6, on peut faire des suggestions, pas dans la 5. Pourquoi ?

Et dans aucune des questions à choix multiples, on ne retrouve les 2 possibilités en même temps.

Bref, biais cognitifs multiples, biais sondagiers, suggestions plus ou moins ouvertes, impossibilité d’interprétation par des statistiques honnêtes…

-Est-ce que je vous ai dit que la simple non-réponse à une question d’un sondage rigoureux peut entraîner l’inexploitabilité complète du questionnaire ?-

Ce questionnaire, du point de vue des questions comme des propositions de réponses, présente de très sérieux problèmes. N’importe quel concepteur sondagier professionnel saurait repérer ces problèmes au premier coup d’oeil. Sébastien Auzière, le fils ainé de Brigitte Macron est vice-président de Kantar Health, une entreprise dont un des métiers est exactement de produire des sondages et des enquêtes d’opinion. On aurait pu lui demander un coup de main, non ?

Dire de ce questionnaire qu’il s’agit d’un support à une consultation, pour je cite « permettre une analyse approfondie à la fois quantitative et qualitative » est factuellement faux.

Ce qui en sortira pourra avoir l’apparence d’une étude scientifique, et c’est bien le risque, car ça n’en sera pas l’ombre d’une.

Quant à s’en servir pour, je cite encore «  forger un nouveau pacte économique, social et environnemental et structurer l’action du Gouvernement et du Parlement dans les prochains mois. », on peut compter là dessus mais pas de la manière qu’on peut imaginer de prime abord, tant cette consultation ressemble à un Push-poll, c’est à dire une enquête qui, sous couvert de vous demander votre avis, à en fait comme objectif de promouvoir des idées.

Forger, oui : Probablement votre consentement à signer implicitement ce pacte qui, lui, n’aura rien de nouveau.

Structurer l’action du gouvernement, certainement : Comme il l’avait prévu à quelques détails près.

Et pour cette 2e partie, je voudrais terminer avec une citation du Manuel Anti-sondage d’Alain Garrigou et Richard Brousse qui nous pousse à réfléchir sur le mode de fabrication d’une telle opération:

« Il est probable que les push-polls ne sont jamais mieux réalisés que lorsqu’ils mêlent bonne conscience et cynisme. »

Rappelons nous que nous avons derrière cette opération, des gens qui sont, dans l’ensemble persuadés d’être gentils, bienveillants, constructifs, selon leur propre vocabulaire, mais aussi et surtout des communiquant de haut-vol qui savent concevoir des dispositifs multi niveaux très efficaces, ayant plusieurs plans d’impact. C’est cet aspect stratégique que nous allons décortiquer dans la 3e partie.

Lire, écouter ou télécharger la 3e partie!

Laisser un commentaire