La question piège : comment l’utiliser ?
| Nicolas - 07/09/2019
La question piège : à quoi ça sert ?
Chez Made In Surveys, nous utilisons les questions piège afin d’assurer une meilleure qualité des données?collectées : en effet, il arrive que des répondants peu sérieux participent à nos études, une des missions de nos chargés d’études consiste alors à les débusquer en utilisant différentes méthodes. Les questions pièges en sont une, que nous allons vous présenter aujourd’hui.
En moyenne chez Made In Surveys, pour une étude quantitative en ligne, 20% des répondants sont supprimés, soient automatiquement pendant le terrain i.e. au moment où les répondants complètent le questionnaire, soit à la fin du terrain après vérification manuelle.
Cela pose problème non seulement à cause du temps passé à nettoyer les données, mais aussi car cela suppose de prévoir un surplus plus ou moins important même pour des terrains avec des cibles complexes et donc un taux d’incidence faible?!
La question piège permet de gagner du temps sur la vérification manuelle, et de s’assurer qu’un maximum de répondants validés en fin de questionnaire sera bien intégré dans le rapport final.
- Les questions de vérification?: pour s’assurer que les répondants est bien une personne réelle derrière l’écran, et qu’il a tous les outils à sa disposition pour répondre correctement.
- Les questions d’attention?: pour les questionnaires longs, complexes, où nous devons vérifier que le participant reste attentif d’un bout à l’autre du questionnaire.
1. Les questions de vérification?: ces questions bloquent le répondant s’il ne parvient pas à y répondre. Elles sont en général utilisées en début de questionnaire?:
- Le captcha permet d’éviter systématiquement les robots. En cas d’études avec de nombreux partenaires en particulier, un captcha est un outil basique mais extrêmement utile pour contrevenir aux bots qui tentent de répondre aux questionnaires.
- La question vidéo?: ici encore, il s’agit d’une question extrêmement simple et basique, qui permet de vérifier en quelques secondes que le répondant voit et entend les messages vidéo qu’on lui transmet?: nous affichons une vidéo avec une image décorrélée du son, en demandant au participant ce qu’il voit et ce qu’il entend.
Mais attention à ne pas utiliser systématiquement la même association, sous peine de courir le risque de laisser passer les répondants qui auraient déjà vu cette question. Chez MIS Group, nous avons plus d’une dizaine de combinaisons possibles, empêchant les tricheurs de passer.
- La question répétée?: une même question sera posée en début et en fin de questionnaire, afin de vérifier que les participants répondent de façon cohérente?: les répondants n’ayant pas coché la même réponse seront filtrés
- La question avec instructions?: cette question est ajoutée en général en milieu de questionnaire, et est utile pour repérer les répondant inattentifs. Il s’agit en général d’une question très simple, de type «?Cochez la couleur bleue?»?: les répondants ne donnant pas la bonne réponse sont automatiquement filtrés
- La question logique?: très similaire à la question avec instruction, on veut vérifier ici que les répondants lisent et réfléchissent tout au long du questionnaire. Par exemple?: «?Quel jour sommes-nous aujourd’hui???»
Par exemple, un autre type de question piège consiste à répéter une question, mais en inversant l’ordre des réponses?: ce type de question est rarement utile, et supprime une trop grande partie de la base, dont des répondants qui peuvent être de bonne foi.
Les autres solutions à utiliser (qui feront l’objet d’un prochain article !)
Mais les questions pièges ne sont pas suffisantes pour garantir la bonne qualité des données qui ressortiront d’une étude quanti online?!
D’autres outils encore sont à notre disposition, à utiliser selon les besoins?: suppression automatique des personnes répondants trop rapidement, vérification manuelle des réponses aux questions ouvertes, vérification manuelle et automatique des participants répondant trop rapidement ou trop systématiquement aux questions matricielles.
Ces sujets pourront être abordées dans un prochain article?!
Le chiffre du jour
Voir plus