Sondages: et si on arrêtait les conneries?

Il est un phénomène que tous les professionnels des études de marché et d'opinion, dont votre serviteur, observent constamment. Il s'agit de la façon dont certains clients accueillent les résultats des études:

• Soit les résultats sont conformes à ce qu'ils ont envie d'entendre, auquel cas ils affirmeront qu'ils savaient déjà, il s'agit donc d'une très bonne étude, même si on peut remettre en question, tout bien réfléchi, son utilité
• Soit les résultats contredisent leurs idées préconçues, dès lors ils contesteront la robustesse  de l'échantillon, la qualité de la méthodologie et de l'analyse des données, etc...Il s'agit d'une mauvaise étude, non seulement inutile mais nuisible

Pour ce qui concerne le dernier sondage d'intentions de vote pour 2012 réalisée par l'institut Harris Interactive, il semble que l'on se situe dans le second cas de figure. Marine Le Pen y figure en tête au premier tour, avec 23% d'intentions de vote contre 21% chacun pour Nicolas Sarkozy et Martine Aubry. "Non mais c'est n'importe quoi", entend-on ici et là. Branle-bas de combat, tout le monde sur le pont. Les instituts concurrents - TNS, CSA, IPSOS et consorts - se gaussent ou crient au scandale. Marine en tête c'est pas possible, eux le savent bien, c'est donc que les gens de Harris Interactive se sont plantés quelque part et qu'ils auraient dû réfléchir à deux fois avant de publier ces chiffres. Cette attitude bien peu confraternelle est relayée par différents éditorialistes qui crient à la manipulation, voire par des spécialistes de l'information, comme sur Rue89. Que reproche-t'on, techniquement, à cette enquête?

1. Le choix proposé aux interviewés n'envisageait que le scénario Martine Aubry pour ce qui concerne le Parti Socialiste. Point de Strauss-Kahn, de Hollande, de Royal ou de Montebourg à l'horizon
2. Marine Le Pen étant une nouvelle venue au sein de l'offre politique, on se demande de quelle façon les résultats ont pu être "redressés" vu qu'on ne dispose d'aucun historique de résultats de vote réels
3. L'étude a été réalisée via Internet et on se pose de sérieuses questions quant à la représentativité de l'échantillon

Reprenons.

1. L'absence d'alternative à Martine Aubry comme candidat du PS dans ce sondage , notamment de l'"imam caché" (qui se cache de moins en moins) Dominique Strauss-Kahn est-elle un problème en soi? Elle en serait un si la candidature de la Première Secrétaire était totalement improbable et, jusqu'à preuve du contraire, elle ne l'est pas. Admettons cependant qu'il serait plus "juste" d'évaluer plusieurs scénarios
2. Redressement des résultats: à quelque chose "malheur" est bon, cette polémique rappelle à tous que les résultats des sondages ne sont pas livrés "bruts" mais que les réponses des interviewés sont "corrigées". Correction légitime lorsqu'il s'agit de pondérer les résultats en tenant compte de la certitude qu'expriment les répondants sur leur intention de vote. Correction davantage capillo-tractée lorsqu'on applique un coefficient, à la hausse ou à la baisse, à une intention de vote. On demandera notamment aux interviewés ce qu'a été leur vote en 2007 puis on comparera les résultats de cette question au résultats réels de l'élection. S'il s'avère que tel ou tel vote est sur- ou sous-déclaré, alors on "redressera" les résultats de l'enquête. En d'autres termes, on réévalue une déclaration portant sur un comportement futur en fonction de l'exactitude du souvenir d'un comportement passé.  Le fait qu'une  "correction" des intentions de vote soit  impossible dans le cas de Marine Le Pen n'implique pas qu'une telle bidouille soit parfaitement légitime pour tout autre candidat, pourvu qu'il ait un passé électoral
3. Les enquêtes via Internet: bien évidemment, il ne suffit pas qu'un échantillon interrogé "on line" soit représentatif sur des critères d'âge, de sexe, de revenu etc.. pour que tout aille pour le mieux: le simple fait d'être d'utiliser ce média pour une enquête situe l'interviewé dans un mode de vie, des habitudes qui, en soi, sont singulières et, dans certains cas, atypiques. Sans compter que la sincérité des déclarations portant sur l'âge, le revenu etc sont, dans ce contexte, à tout le moins sujettes à caution.. Cela étant les sondages politiques via Internet se pratiquent depuis des années et il est étonnant qu'on attende aujourd'hui pour s'offusquer d'une telle pratique

Les arguments contre le sondage Harris Interactive sont, en soi, parfaitement recevables. Mais la conclusion qu'on doit en tirer n'est pas que la publication de ces chiffres est scandaleuse. La conclusion, c'est que l'anecdote "Marine-en-tête-selon-le-sondage-du-5-Mars-2011" est une bonne occasion d'affirmer, une bonne fois pour toutes, que les mesures d'intention de vote sont un tissu de conneries si elles sont effectuées plus d'un mois avant des élections - voire plus d'une semaine avant. Et que le sérieux avec lequel on les commente est le signe d'un dérèglement de l'intelligence politique.

Il y a belle lurette que dans le domaine du marketing les mesures d'intention d'achat - courantes en matière de tests de produit, de packaging ou publicitaire - sont traitées avec la plus grande circonspection: on les lit, on les analyse, mais on les replace dans leur contexte et, à tout le moins, on ne les "redresse" pas en fonction du souvenir des achats réels des consommateurs - pour autant qu'on les connaisse. En tout cas il ne viendrait à l'idée de personne d'en faire l'alpha et l'oméga des prévisions de parts de marché, sans prendre en compte la pression publicitaire, l'environnement concurrentiel, le prix  ou les enjeux de la distribution, surtout à plus d'un an du lancement du produit.

Le vrai problème, avec les mesures d'intention de vote, n'est pas tant la méthode employée - nonobstant, excusez du peu, les "corrections" en tout genre, la qualité des échantillons ou la sincérité des répondants - mais le sens prédictif qu'on donne, même implicitement, à de tels exercices. Oh bien sûr, lorsqu'on vient à prononcer le mot "prédiction" les professionnels des instituts de sondage se récrient et jouent les vierges effarouchées - "il s'agit d'une photographie de l'opinion à un instant t", annonent-ils, selon la formule consacrée. Et tout le monde - médias, hommes et femmes politiques - d'opiner du bonnet... avant de se lancer derechef dans quelque sarabande spéculative sur ce qui risque de se passer en Mai 2012.

L'enjeu véritable si on entend mesurer l'opinion politique, à un instant t ou t+1, c'est qu' il faut d'emblée oublier "l'intention de vote", car cette dernière suppose, de la part de l'interviewé, un choix exclusif. Or, en matière d'hommes et femmes politiques comme, il faut bien l'admettre, en matière de yaourts à boire ou de barres de céréales, l'exclusivité du choix de "marque" est l'exception plutôt que la règle. La vérité de l'opinion politique, pour la plupart des citoyens, c'est une préférence (une relativisation, donc) et non un choix dans l'absolu, à l'exclusion de tout autre.

Dès lors, une mesure sincère et fiable, une vraie "photographie de l'opinion à un instant t" consisterait à demander aux interviewés de classer tous les candidats - réels ou hypothétiques - sur une échelle de préférence, en commençant par les deux extrêmes (celui ou celle qu'ils préfèrent le plus, celui ou celle qu'ils préfèrent le moins) puis en plaçant tous les autres entre les deux. Une telle mesure à intervalles réguliers permettrait de voir les personnalités progresser ou décliner dans les affinités des électeurs... En tout état de cause, il en ressortirait une "vérité" de l'opinion certainement moins artificielle que celle issue d'un questionnaire posé sous l'hypothèse que les élections aient lieu "dimanche prochain". Avec une telle mesure - transparente, simple, intuitive - aucune excuse pour "corriger" les résultats.

Mais pas question de convertir ce palmarès en parts des suffrages. Du coup, c'en serait fini de la prétention des uns, même si elle est toujours niée, à prédire l'avenir - et de la jubilation des autres, même avec l'usage du conditionnel, à gloser à l'infini sur l'image apparue dans la vraie-fausse boule de cristal. Mais parions que le débat démocratique y gagnerait en discernement.

Cela étant un tel changement ne risque pas de se produire: sauf dans le cas des arrangements à la Patrick Buisson, les sondages politiques ne rapportent pas un fifrelin (ou bien peu, en comparaison des études marketing) à ceux qui en font profession, ce sont de purs vecteurs de notoriété et de réputation. Aucune chance que l'une ou l'autre des sociétés d'études ne remette en cause des habitudes multi-décennales, juste pour la gloire. D'autant que les clients - médias ou politiques - seraient très perturbés de ne plus se voir proposer de "simulation" du premier et, tant qu'on y est, du second tour. Et cesseraient d'acheter lesdits sondages.

Personne n'a donc véritablement intérêt à mesurer l'opinion des électeurs de façon rigoureuse et un tant soit peu réaliste. A partir de là. il faut en accepter les conséquences. Et se dire que "Marine Le Pen en tête au premier tour", c'est pas plus con que "Domique Strauss-Kahn, le candidat de gauche idéal".

See you, guys.