Retour Retour
Les biais dans les questionnaires

Les biais dans les questionnaires

5  mins 5 mins
|
Par Nicolas Keller - le 23/05/2024
Les biais dans les questionnaires

Comment formuler mes questions ? Quelles sont les erreurs à ne pas commettre ? Autant de questions à se poser avant de rédiger un questionnaire et ainsi interroger correctement ses cibles et éviter de biaiser les résultats.

Pour répondre à ces questions, nous avons mis en place 2 questionnaires en full service auprès de nos panélistes. Un premier questionnaire formulé avec des biais et un second formulé de manière plus conventionnelle. Sur chacune des 2 études, 1600 personnes âgées de 18 à 65 ans et représentatives de la population française ont été interrogées.

Les résultats sont plein d’étonnement ! On vous explique tout ;)

On évite… le vocabulaire complexe !

Et oui ! Cela peut paraître évident, mais sachez que nous n’obtenons pas du tout les mêmes résultats si nous parlons des bénéfices sur la santé de la « Thiamine » ou de la « Vitamine B1 » (nom scientifique vs nom usuel).

Plusieurs conclusions à retirer à la suite à notre test :

1. Les répondants ayant eu le questionnaire avec les noms scientifiques sont plus nombreux que les autres (noms usuels) à indiquer que la thiamine n’est pas bénéfique pour la santé. Ce mot leur est inconnu et soyons honnêtes… il fait un peu peur !
2. Les répondants sont plus nombreux (le double) à botter en touche (réponse « Je ne sais pas ») au sujet des bénéfices de la thiamine.

Et comme nous faisons les choses bien, nous avons testé plusieurs combinaisons, et nous retirons toujours les mêmes conclusions :
  • Thiamine vs Vitamine B1
  • Riboflavine vs Vitamine B2
  • Niacine vs Vitamine B3
  • Acide pantothénique vs Vitamine B5
  • Piroxidine vs Vitamine B6

Aie Aie Aie, dire que nous avons annoncé à 1600 panélistes que leurs céréales du petit déjeuner sont composées de tous ces éléments.

On évite… les doubles négations !

« Globalement, les Français s’intéressent à la politique » vs « Globalement, il serait faux de dire que les Français ne s’intéressent pas à la politique » … Première conclusion, il est déjà plus compliqué de construire en phrase en double négation… alors imaginez les résultats !

51% des répondants sont d’accord avec la première phrase contre 64% sur la seconde. Pourtant elles veulent dire la même chose.

On évite… de donner la réponse dans la question !

Cette petite astuce est surtout valable pour les questions de screener. Si le répondant se doute de la réponse, il va réussir à passer vos filtres de ciblage. Alors, « noyez le poisson » dans vos questions filtres !

Si vous cherchez à interroger des personnes consommant du chocolat chaud au petit déjeuner, ne leur posez pas une question dichotomique (réponse en oui/non), mais proposez-leur une liste de boissons.

Ainsi, en noyant la bonne réponse au sein de plusieurs propositions, nous recrutons 28% de consommateurs de chocolat chaud. En proposant une question en choix unique oui/non, nous en recrutons 43% !

On évite… de changer en permanence le sens des items de satisfaction

Nous avons cherché à connaître l’image que les répondants ont d’une marque de cafetière très connue. La moitié a vu les items du positif vers le négatif « Très bonne image à Très mauvaise image » et l’autre moitié a vu les items dans l’autre sens.

Clairement, aucun souci?! les résultats sont les mêmes.

En revanche, au sein d’un même questionnaire, on évite de modifier l’ordre entre chaque question. Les pièges pour détecter les répondants non sérieux sont utiles, mais à force, vous allez perdre tout le monde, même les gens de bonne foi et les plus motivés.

On évite… des listes de propositions trop courtes !

Si vous demandez aux répondants de donner leur avis sur un petit déjeuner anglais et que vous ne leur proposez quasiment que des adjectifs positifs, forcément, ceux-ci seront plus cochés que si les adjectifs positifs et négatifs sont équilibrés.

En plus, comme les panélistes ont envie de s’exprimer, ils se rabattent facilement sur l’item « Autre » quand ceux proposés ne leur conviennent pas. Mais attention, derrière vous allez devoir recoder leurs réponses ouvertes !

Alors pensez à proposer suffisamment d’adjectifs que tout le monde puisse donner son avis au sein d’une question fermée.

On évite… de ne mettre que du texte dans les questionnaires

Aujourd’hui, il est facilement possible de mettre des images ou des vidéos dans les questionnaires onlines. Alors on en profite.

Parfois, cela aide à illustrer une question et cela se ressent sur les résultats.

Si nous posons des questions de notoriété de marques, il est utile de mettre également les logos. Certaines personnes sont plus visuelles que d’autres.

Une marque comme Nike n’a pas forcément besoin d’être aidée de son logo pour être reconnue (le taux de connaissance de la marque est le même avec ou sans présentation du logo). Mais pour des marques « moins connues » comme Intel, cela peut être utile?: le taux de connaissance est de 83% avec le logo et de 75% sans le logo.

On évite… les images qui valorisent ou dévalorisent

Nous avons fait le test justement !

Nous avons demandé à nos panélistes l’image qu’ils avaient de Gérard Depardieu. D’un côté, une photo de lui tout à fait classique et de l’autre, une photo de lui avec son passeport russe entre les mains…. Clairement, les répondants ont une meilleure image de cet acteur avec la photo classique (62% vs 50%).

On évite… d’oublier les ordres aléatoires

Et oui… grand classique de la création d’un questionnaire : l’ordre aléatoire.

Alors évidemment, il faut dans certains cas respecter un ordre logique ou un ordre alphabétique pour aider le répondant (ex: si vous demandez le pays de résidence, la réponse sera plus facilement trouvée avec un ordre alphabétique).

Mais si nous demandons à notre panel de nous décrire la poire idéale via une liste de 19 items, on se rend compte que sans ordre aléatoire, les items du bas de la liste sont nettement moins coché qu’avec un ordre aléatoire.

Sur de grandes listes, le répondant ne retiendra pas tous les items lus et certains items seront donc défavorisés.

On évite… de mal construire ses tranches de prix

Comment poser les questions de prix ? Ce sujet mériterait un article pour lui tout seul… Une question ouverte numérique ? Une question unique avec des tranches ? Plusieurs possibilités s’offrent à vous.

Nous avons opté pour des tranches de prix en demandant à notre panel le prix qu’il serait prêt à payer pour une cafetière à dosettes.

Une moitié à vu 6 tranches de prix dont la première était « moins de 40 euros » et l’autre moitié a vu 7 tranches de prix dont la première était « Moins de 30 euros » et la seconde « Entre 30 et 39 euros ».

La logique voudrait que l’on retrouve le même pourcentage de répondants sur la tranche « Moins de 40€ » et sur la somme des tranches « Moins de 30€ » + « 30-39€ » ... Et bien non !

Nous obtenons 20% de répondants sur « Moins de 40€ » et 26% sur les tranches « Moins de 30€ » + « 30-39€ ».


Alors concluons que vous devez faire simple dans la construction de vos questionnaires.
Certains sujets abordés sont parfois suffisamment complexes ou pointus comme ça, donc pas la peine d’ajouter des difficultés techniques aux répondants.

N’oublions pas que les participants répondent de leur plein gré, donc si votre questionnaire est mal construit ou biaisé, vous aurez d’une part des résultats faussés, mais aussi des panélistes insatisfaits.

Découvrez nos autres articles

Comment réaliser une campagne e-mailing conforme au RGPD, pour diffuser mon enquête ?
Comment réaliser une campagne e-mailing conforme au RGPD, pour diffuser mon enquête ?
Quanti
Quali

Si vous avez déjà eu l’occasion de réaliser une campagne e-mailing pour la diffusion d’un questionnaire en ligne auprès de vos clients et prospects (BtoC ou BtoB), dans le cadre d’une enquête de satisfaction par exemple, et que vous n’aviez pas préalablement recueilli leur consentement spécifique pour ce type de sollicitation, vou...
En savoir +
15 mins
Les « Questions piège » : comment les utiliser ? 
Les « Questions piège » : comment les utiliser ? 
Quanti

En moyenne, chez Made In Surveys, 20% des réponses aux enquêtes sont supprimées. En effet, il arrive que des participants peu sérieux répondent à nos questionnaires. Nos Chargés d’Études ont pour mission de les identifier, car chez Made In Surveys, la qualité des données collectées est la priorité.

Chaque base de données d’enquête term...

En savoir +
4 mins
Définir la cible de son étude : 
Représentativité Nationale ou Ciblage spécifique ?
Définir la cible de son étude : Représentativité Nationale ou Ciblage spécifique ?
Quanti

Définir la cible de son étude est une étape cruciale qui impacte directement la qualité et la pertinence des données obtenues. Lorsqu'il s'agit de choisir une méthodologie de sélection d’échantillon, deux options se présentent : la représentativité nationale (ou RepNat) et le ciblage spécifique.

Chaque méthodologie présente des avantages...

En savoir +
5 mins