Par Pete Cape, directeur de Global Knowledge
Introduction
La qualité des données est au cœur des débats dans le secteur des études en ligne – pourtant, ce secteur n’a jamais clairement défini ce qu’elle est ni où elle commence. Ce manque de définition contribue tout autant à la médiocrité des résultats que la mauvaise qualité des données elle-même – après tout, comment savoir ce qu’est une donnée de qualité si l’on ne s’accorde pas sur ce qui la définit ? Cette question, ainsi que d’autres considérations connexes, sont au cœur des débats sur la qualité des données.
Cependant, bien qu'il existe de nombreuses définitions, les seules certitudes sont que les données doivent être exploitables et que les participants doivent être réels. Garantir l'accès au public cible adéquat, présentant la combinaison de caractéristiques et de profils correspondant à ce que vous souhaitez savoir, contribue à assurer la qualité. Cela implique de choisir le bon échantillon et le bon partenaire de recrutement, un partenaire en qui vous pouvez avoir confiance pour vous conseiller sur les compromis à faire et vous aider à prendre la bonne décision pour votre projet.
Une fois ces principes fondamentaux établis, tout le reste relève d'un compromis : il vous faut choisir ce qui est le plus essentiel pour le projet et ce que vous êtes prêt à sacrifier pour le mener à bien. Rapidité contre coût. Temps passé sur le terrain ou précision du ciblage contre couverture de la population… chacun de ces aspects constitue un compromis. Or, ces compromis peuvent être tout aussi difficiles à cerner que la qualité des données, sans qu'il existe de règles strictes quant au moment, à la manière ou à la raison pour laquelle ils doivent être faits.
Étant donné que les décisions stratégiques reposent sur des informations précises, qui dépendent elles-mêmes de la qualité des données utilisées, il est important de bien comprendre ces compromis à chaque étape du processus de recherche, de la conception du questionnaire aux quotas, en passant par les critères de sélection, l'échantillonnage, le nettoyage des données et l'analyse. Il est également important de savoir quand faire preuve de prudence face à ces compromis, notamment lorsque la précision des informations est essentielle pour prendre la bonne décision stratégique.
Les filtres de qualité et le concept de compromis
Pour beaucoup, la qualité dépend du comportement des participants lors d'une enquête : réponses trop rapides, réponses standardisées, etc. D'autres s'intéressent davantage au comportement global au sein du panel : combien d'enquêtes les membres remplissent-ils ? À quelle fréquence ? D'autres encore se demandent : les résultats de l'enquête correspondent-ils à mes attentes ? Sont-ils conformes à une référence ?
Cela signifie qu'il n'existe pas de mesure standard de la qualité et que toute définition en la matière est complexe. La norme ISO 9000, un ensemble de normes internationales relatives à la gestion et à l'assurance de la qualité, utilise le concept d'adéquation à l'usage prévu, définissant la qualité comme « le degré auquel un ensemble de caractéristiques intrinsèques répond aux exigences ».
Cette définition permet d'envisager différents cadres de qualité : ceux qui se concentrent sur le comportement observé lors de l'enquête ont besoin que ce comportement soit nettement supérieur à une norme ; ceux qui exigent que les données correspondent à des repères recherchent ces correspondances. Cela implique, étant donné que la perfection n'est pas atteignable, qu'il faille faire des compromis.
Par exemple, les chercheurs dont la norme de qualité consiste à « exclure les réponses linéaires » dans un questionnaire de 30 minutes font deux compromis : ils excluent ceux pour qui une ligne droite correspond à la réalité et n'acceptent que ceux qui sont prêts à répondre consciencieusement à un questionnaire de 30 minutes. Dans quelle mesure ces personnes sont-elles représentatives ? Des approches plus nuancées pour mesurer les comportements inattentifs pourraient atténuer ces compromis, mais elles demandent du temps et des efforts – ce qui constitue un autre compromis !
Le problème survient lorsque ces compromis ne sont pas considérés pour ce qu'ils sont, ce qui conduit un chercheur à croire à tort qu'il a atteint la perfection simplement en éliminant les lignes droites.
Compromis courants en recherche
En réalité, nous faisons constamment des compromis en matière de qualité dans le domaine de la recherche. L'échantillonnage est en soi un compromis : pour obtenir une précision absolue des données, il faudrait un recensement parfait.
Nous acceptons régulièrement ces compromis :
• Taille de l'échantillon, couverture ou durée de l'enquête sur le terrain par rapport au coût
• Méthodologie en ligne par rapport à la méthodologie en face à face ou par téléphone
• Réponses qualitatives par rapport aux données quantitatives
• Pondération par rapport au respect des quotas
Et voici quelques autres compromis plus subtils que nous devons faire :
• Poser toutes les questions que nous souhaitons vs. un engagement accru dans un questionnaire plus court
• Des quotas précis vs. le temps disponible pour terminer l'enquête
• L'étendue des sources vs. les taux d'engagement
• L'étendue de l'échantillon vs. le coût
• Le temps consacré au contrôle qualité vs. le temps consacré à l'analyse
Compromis liés à la sélection de l'échantillon
Aujourd'hui, nous avons la possibilité de faire encore plus de compromis potentiels, notamment en matière de sélection de l'échantillon. Certaines sources d'échantillons sont plus coûteuses à recruter, à fidéliser et à rémunérer, et nous pouvons opter pour un compromis en termes de coûts en écartant ces personnes. Nous pouvons généralement respecter les quotas démographiques sans elles, mais nous passons alors à côté de la diversité psychographique et des modes de vie qui permettrait d'améliorer la couverture de la population cible.
Réexaminer les « lois sacrées » de la recherche
Utiliser un cadre de compromis pour réfléchir à la qualité implique de repenser certaines des « lois sacrées » de l'échantillonnage et de la recherche. Certaines d'entre elles nous permettent de « cocher une case » et d'avoir un sentiment de sécurité sans pour autant apporter de réels avantages en termes de qualité.
1. N = 1 000. La perte de précision en s'arrêtant à 950 est minime
2. Confirmation des données démographiques pendant l'enquête. Nous risquons ici une perte d'engagement due à l'agacement et à la fatigue
3. Exclusions par catégorie. Les recherches de Dynata montrent qu'il n'y a pratiquement aucune incohérence dans les données sans exclusions – et aucune après 12 semaines
4. Suppression de tous les répondants « straightliners ». Même les méthodes les plus sophistiquées comportent des faux positifs
5. Quotas démographiques. Selon le sujet de l'étude, des quotas stricts en matière d'âge, de sexe, de revenus et de niveau d'études peuvent s'avérer inutiles
6. Précision de la formulation des questions. Une formulation trop longue réduit l'engagement.
Compromis et qualité adaptée à l'usage prévu
La limite de ce compromis en matière de qualité est définie par l'« adaptation à l'usage prévu » ; ces deux concepts doivent donc aller de pair.
Prenons un exemple extrême : un haut responsable politique est impliqué dans un scandale et un journaliste exige une interview. Il est 9 heures du matin et le responsable politique a quatre heures pour décider comment réagir. En tant que chercheur, vous savez ce qu’il est possible de faire dans ce laps de temps – et ce n’est pas l’idéal.
• Il faut une heure pour rédiger, programmer et tester le questionnaire – pas de tests pilotes ni de deuxième avis
• Avec seulement 30 minutes pour préparer les données, les questions doivent être peu nombreuses et simples
• Seules les personnes disponibles entre 10 h et midi seront incluses
• Le questionnaire en ligne est la seule méthode pratique et vous serez prêt à payer n’importe quel prix pour obtenir un échantillon
• Vous devez pondérer les données car certaines données démographiques font défaut.
Vous faites de nombreux compromis, mais vous fournissez des données exploitables dans les délais, répondant ainsi à l'exigence d'« adéquation à l'usage prévu ».
Comprendre les compromis nécessaires vous donne l'assurance que la qualité des données de votre projet sera suffisante pour répondre aux objectifs de la recherche. Choisissez un partenaire de recherche et d'échantillonnage qui vous aidera à identifier ces compromis et à prendre les bonnes décisions pour obtenir des résultats de qualité.
Les nouvelles questions de l'ESOMAR constituent également un bon cadre pour vous aider à réfléchir à ce que signifie, dans le contexte de votre étude, une qualité adaptée à l'objectif visé.
Pour plus d'informations sur Dynata et les données de qualité, rendez-vous sur www.dynata.com/dynata-data.
