Les « Questions piège » : comment les utiliser ? 

En moyenne, chez Made In Surveys, 20% des réponses aux enquêtes sont supprimées. En effet, il arrive que des participants peu sérieux répondent à nos questionnaires. Nos Chargés d’Études ont pour mission de les identifier, car chez Made In Surveys, la qualité des données collectées est la priorité.

Chaque base de données d’enquête terminée est minutieusement nettoyée. Localisation des répondants, temps de réponse, cohérence des données, pertinence des réponses aux questions ouvertes…sont autant de critères que nos Chargés d’Études vérifient manuellement. Cependant, cela cannibalise beaucoup de temps et implique de prévoir un surplus de réponses relativement conséquent, même sur des terrains avec des cibles complexes et, ainsi, un taux d’incidence très faible. 

C’est pourquoi nos équipes utilisent également diverses méthodes comme le blocage de la localisation IP et le temps de réponse minimum imposé, permettant d’identifier les mauvais répondants en temps réel et, ainsi, limiter le nombre de réponses ensuite nettoyées. Zoom aujourd’hui sur les « Questions piège »…

Il existe deux types de questions piège à utiliser en fonction des éléments à contrôler. Les questions de vérification, pour s’assurer que les participants sont bien des personnes réelles derrière l’écran, et les questions d’attention, notamment dans le cas de questionnaires longs et complexes, pour s’assurer que les participants restent attentifs tout au long de l’enquête. 

Elles bloquent le participant s’il ne parvient pas à répondre. Elles sont en général utilisées en début de questionnaire ;  

• Le captcha permet d’éviter systématiquement les robots. Dans le cas d’études avec de nombreux partenaires, notamment, le captcha est un outil basique, mais extrêmement utile pour contrevenir aux bots qui tentent de répondre aux questionnaires. 
• Également basique, mais très efficace dans le cas d’enquêtes contenant des questions audiovisuelles, la question vidéo permet de s’assurer en quelques secondes que le répondant voit et entend les messages vidéo qu’on lui transmet. Nous affichons une vidéo avec une image décorrélée du son et demandons au participant ce qu’il voit et ce qu’il entend. Chez Made In Surveys, nous avons plus d’une dizaine de combinaisons image-son possibles, empêchant les habitués et les tricheurs de passer. 

Elles permettent de contrôler le niveau d’attention et d’honnêteté des participants et peuvent être ; 

• Une question répétée :  une même question est posée en début et en fin de questionnaire. Les répondants ne cochant pas la même réponse sont automatiquement filtrés. 
• Une question avec instruction : généralement placée en milieu de questionnaire, cette question permet de repérer les répondants inattentifs grâce à une consigne très simple de type « Cochez la couleur bleue : ». Les répondants ne cochant pas la bonne case sont filtrés. 
• Une question logique : très similaire à la question avec instruction, la question logique permet de vérifier que les répondants lisent et réfléchissent tout au long du questionnaire, en utilisant des questions évidentes comme « Quel jour sommes-nous aujourd’hui ? ». Les répondants ne donnant pas la bonne réponse sont également filtrés. 

S’il est utile de les connaître, il est également important de ne pas en abuser. En effet, mal exploitées, les questions piège risquent d’y faire tomber même les participants les plus honnêtes. Prenons l’exemple de la question répétée mais avec inversion de l’ordre des réponses. Ce format peut altérer l’interprétation des participants, justifiant ainsi des réponses différentes qu’il n’est alors pas approprié de supprimer.

De nombreuses méthodes existent donc et peuvent être combinées afin de garantir la qualité des données. Qu’il s’agisse de contrôles automatiques ou de vérifications manuelles, les équipes de Made In Surveys s’engagent à garantir des bases de données de haute qualité. Et vous, que faites-vous pour assurer la qualité des données collectées ?