Comment formuler mes questions ? Quelles sont les erreurs à ne pas commettre ? Autant de questions à se poser avant de rédiger un questionnaire et ainsi interroger correctement ses cibles et éviter de biaiser les résultats.
Pour répondre à ces questions, nous avons mis en place 2 questionnaires en full service auprès de nos panélistes. Un premier questionnaire formulé avec des biais et un second formulé de manière plus conventionnelle. Sur chacune des 2 études, 1600 personnes âgées de 18 à 65 ans et représentatives de la population française ont été interrogées.
Les résultats sont plein d’étonnement ! On vous explique tout ;)
Et oui ! Cela peut paraître évident, mais sachez que nous n’obtenons pas du tout les mêmes résultats si nous parlons des bénéfices sur la santé de la « Thiamine » ou de la « Vitamine B1 » (nom scientifique vs nom usuel).
Plusieurs conclusions à retirer à la suite à notre test :
1. Les répondants ayant eu le questionnaire avec les noms scientifiques sont plus nombreux que les autres (noms usuels) à indiquer que la thiamine n’est pas bénéfique pour la santé. Ce mot leur est inconnu et soyons honnêtes… il fait un peu peur !
2. Les répondants sont plus nombreux (le double) à botter en touche (réponse « Je ne sais pas ») au sujet des bénéfices de la thiamine.
- Thiamine vs Vitamine B1
- Riboflavine vs Vitamine B2
- Niacine vs Vitamine B3
- Acide pantothénique vs Vitamine B5
- Piroxidine vs Vitamine B6
Aie Aie Aie, dire que nous avons annoncé à 1600 panélistes que leurs céréales du petit déjeuner sont composées de tous ces éléments.
On évite… les doubles négations !« Globalement, les Français s’intéressent à la politique » vs « Globalement, il serait faux de dire que les Français ne s’intéressent pas à la politique » … Première conclusion, il est déjà plus compliqué de construire en phrase en double négation… alors imaginez les résultats !
51% des répondants sont d’accord avec la première phrase contre 64% sur la seconde. Pourtant elles veulent dire la même chose.
Cette petite astuce est surtout valable pour les questions de screener. Si le répondant se doute de la réponse, il va réussir à passer vos filtres de ciblage. Alors, « noyez le poisson » dans vos questions filtres !
Si vous cherchez à interroger des personnes consommant du chocolat chaud au petit déjeuner, ne leur posez pas une question dichotomique (réponse en oui/non), mais proposez-leur une liste de boissons.
Ainsi, en noyant la bonne réponse au sein de plusieurs propositions, nous recrutons 28% de consommateurs de chocolat chaud. En proposant une question en choix unique oui/non, nous en recrutons 43% !
Nous avons cherché à connaître l’image que les répondants ont d’une marque de cafetière très connue. La moitié a vu les items du positif vers le négatif « Très bonne image à Très mauvaise image » et l’autre moitié a vu les items dans l’autre sens.
Clairement, aucun souci?! les résultats sont les mêmes.
En revanche, au sein d’un même questionnaire, on évite de modifier l’ordre entre chaque question. Les pièges pour détecter les répondants non sérieux sont utiles, mais à force, vous allez perdre tout le monde, même les gens de bonne foi et les plus motivés.
Si vous demandez aux répondants de donner leur avis sur un petit déjeuner anglais et que vous ne leur proposez quasiment que des adjectifs positifs, forcément, ceux-ci seront plus cochés que si les adjectifs positifs et négatifs sont équilibrés.
En plus, comme les panélistes ont envie de s’exprimer, ils se rabattent facilement sur l’item « Autre » quand ceux proposés ne leur conviennent pas. Mais attention, derrière vous allez devoir recoder leurs réponses ouvertes !
Alors pensez à proposer suffisamment d’adjectifs que tout le monde puisse donner son avis au sein d’une question fermée.
Aujourd’hui, il est facilement possible de mettre des images ou des vidéos dans les questionnaires onlines. Alors on en profite.
Parfois, cela aide à illustrer une question et cela se ressent sur les résultats.
Si nous posons des questions de notoriété de marques, il est utile de mettre également les logos. Certaines personnes sont plus visuelles que d’autres.
Une marque comme Nike n’a pas forcément besoin d’être aidée de son logo pour être reconnue (le taux de connaissance de la marque est le même avec ou sans présentation du logo). Mais pour des marques « moins connues » comme Intel, cela peut être utile?: le taux de connaissance est de 83% avec le logo et de 75% sans le logo.
Nous avons fait le test justement !
Nous avons demandé à nos panélistes l’image qu’ils avaient de Gérard Depardieu. D’un côté, une photo de lui tout à fait classique et de l’autre, une photo de lui avec son passeport russe entre les mains…. Clairement, les répondants ont une meilleure image de cet acteur avec la photo classique (62% vs 50%).
Et oui… grand classique de la création d’un questionnaire : l’ordre aléatoire.
Alors évidemment, il faut dans certains cas respecter un ordre logique ou un ordre alphabétique pour aider le répondant (ex: si vous demandez le pays de résidence, la réponse sera plus facilement trouvée avec un ordre alphabétique).
Mais si nous demandons à notre panel de nous décrire la poire idéale via une liste de 19 items, on se rend compte que sans ordre aléatoire, les items du bas de la liste sont nettement moins coché qu’avec un ordre aléatoire.
Sur de grandes listes, le répondant ne retiendra pas tous les items lus et certains items seront donc défavorisés.
Comment poser les questions de prix ? Ce sujet mériterait un article pour lui tout seul… Une question ouverte numérique ? Une question unique avec des tranches ? Plusieurs possibilités s’offrent à vous.
Nous avons opté pour des tranches de prix en demandant à notre panel le prix qu’il serait prêt à payer pour une cafetière à dosettes.
Une moitié à vu 6 tranches de prix dont la première était « moins de 40 euros » et l’autre moitié a vu 7 tranches de prix dont la première était « Moins de 30 euros » et la seconde « Entre 30 et 39 euros ».
La logique voudrait que l’on retrouve le même pourcentage de répondants sur la tranche « Moins de 40€ » et sur la somme des tranches « Moins de 30€ » + « 30-39€ » ... Et bien non !
Nous obtenons 20% de répondants sur « Moins de 40€ » et 26% sur les tranches « Moins de 30€ » + « 30-39€ ».
Alors concluons que vous devez faire simple dans la construction de vos questionnaires.
Certains sujets abordés sont parfois suffisamment complexes ou pointus comme ça, donc pas la peine d’ajouter des difficultés techniques aux répondants.
N’oublions pas que les participants répondent de leur plein gré, donc si votre questionnaire est mal construit ou biaisé, vous aurez d’une part des résultats faussés, mais aussi des panélistes insatisfaits.
