- 調査中の品質管理質問は、データの質を向上させるための効果的な手段です
- さまざまな質問を用いることができます。それらの効果は一律ではなく、多くの場合、同じものを測定しているわけではありません。
- Dynataでは、推奨される5つの質問のうち少なくとも2つを使用し、2つ以上の質問で不正行為が確認された回答者のみを除外することを推奨しています。
調査中の品質管理質問を通じて特定しようとしているデータ品質の問題には、2つのタイプがあります。まず、正直な回答をしないつもりで調査を開始する人がごく少数います。一方、より多くの回答者は正直に答えようとしていますが、疲労や退屈を感じ、調査の回答に十分な注意や労力を割けなくなってしまうことがあります。このグループは「サティスファイサー」として知られています。
Dynataでは、不正行為を特定・排除し、サティスファイサーに対して注意を払い、慎重かつ思慮深く回答することの重要性を啓発するために、一連のツールを活用しています。 しかし、すべての不正行為者がアンケートに参加するのを防ぐことや、特定の日に誰が「満足回答」を行うかを予測することは不可能です。したがって、アンケート内に品質管理のための質問を組み込むことは、品質を確保するための重要な手段となります。
効果的な品質管理の質問は、参加者に対して適度に伏せられているべきです。注目を集めすぎたり、あまりにも露骨で参加者を不快にさせたりするようなものであってはなりません。
研究者の目指すべきは、データセットからすべての「真の要因」を取り除きつつ、誤って特定された要因をできるだけ少なく抑えることです。品質管理の最適な回数と種類を決定するために、 Dynataは 15種類の品質管理手法(品質管理質問12項目、回答速度チェック、直線回答チェック、自由記述式評価)を検証しました。これらは、米国のオンライン参加者2,100名を対象にテストされました。品質管理項目を含むこの調査では、エンターテインメント、社会問題、ライフスタイル、一般的な行動に関する質問など、多岐にわたるトピックが取り上げられました。
この調査では、データの比較対象となる品質指標として、12のオフラインベンチマークが用いられた。調査時間の中央値は12.5分で、疲労を感じさせるほど長くはなかった。
どの品質管理測定でも、すべての原因を排除できたものはありませんでしたが、ほぼすべての品質管理測定で、誤って指摘された原因の一部は排除されました。
Dynataは、誤検知を最小限に抑えつつ、質の低いデータを排除する上で、以下の品質チェックの種類が最も効果的であると判明しました:
1. 過去1週間に行った発生頻度の低い項目で、「遠方への旅行」にチェックを入れてください
2. オープンエンドの品質チェック
3. 短い表の中で矛盾した回答が示されている
4. スピード違反の取り締まり
5. 短いグリッド内の「チェック6」という指示のグリッドチェック
これらの質問のうち1つに答えられなかった参加者全員を疑い対象とした結果、195人が誤って疑われることになった一方で、65人の犯人全員を特定することができた。しかし、5つの質問のうち2つに答えられなかったグループを疑い対象とした場合、 グループをフラグ付けすると、35人の冤罪者が出ますが、65人の犯人のうち60人を捕まえることができます。
まとめると
- 良質な回答者を過度に排除してしまう品質管理に関する質問は、調査の実現可能性を損ない、参加者に不快な体験を強いることになります。誤った誘導や明らかな罠(例:偽ブランドに関する認知度を尋ねる質問など)は、このカテゴリーに該当します。
- 参加者を過剰に除外してしまう品質管理措置は、その除外がランダムに行われるため、データの品質向上にはつながらない。
- アンケート回答者であれば誰であれ、その瞬間に集中力を切らして、品質管理のための質問を1つだけ間違えてしまう可能性があります。こうした回答者を除外しても、データの品質は向上しません。
品質管理質問は、不正行為や不注意な回答者によってデータが損なわれるのを防ぐための有用な手段ですが、正しく使用する必要があります。長いアンケート調査では誰しも集中力が途切れることがあるため、品質管理質問は最低2問用意し、両方の質問に誤って回答した場合にのみ、その回答者を不合格としてマークすることが重要です。 調査の終盤になって、複数の回答者が「満足レベル」で回答している場合は、アンケートの設計や長さを見直すことを強く推奨します。
インサイト業界が直面する品質上の課題、およびその克服方法に関する詳細については、当社のウェビナーをダウンロードしてください。

