ウェブサイト全体をご覧になるには、こちらをクリックしてください

目的に合った品質:現代のオンライン調査における品質の「最適なバランス」を見極める

グローバル・ナレッジ ディレクター、ピート・ケープ著

はじめに
オンライン調査業界では、データ品質が話題の中心となっています。しかし、業界ではこれまで、データ品質とは何か、その基準はどこから始まるのかについて、明確に定義されたことはありません。この定義の欠如は、質の悪いデータそのものと同様に、調査結果の不振の一因となっています。何しろ、データ品質の定義について合意がなければ、どのようなデータが質の高いものなのかを、どうやって判断できるでしょうか。この点や関連する考察こそが、データ品質に関する議論の核心なのです。

とはいえ、定義は多岐にわたりますが、絶対的な条件は、データが実用可能であり、参加者が実在する人物であるということだけです。調査目的に見合った特性やプロフィールを備えた適切な対象層へのアクセスを確保することは、データの品質を保証する上で役立ちます。つまり、適切なサンプルと調査パートナーを選定する必要があるのです。そのパートナーとは、トレードオフについて相談に乗り、プロジェクトにとって最適な判断を下せるよう支援してくれる、信頼できる相手であるべきです。

こうした絶対的な条件が定まれば、それ以外のすべてはトレードオフとなり、プロジェクトにとって何が最も重要か、そしてそれを成し遂げるために何を犠牲にしてもよいかを選択することが求められます。スピード対コスト。現地調査の期間やターゲットの精緻さ対対象人口の網羅性……これらはいずれもトレードオフです。しかし、トレードオフの定義はデータ品質と同様に曖昧であり、いつ、どのように、なぜそれを行うべきかについて、厳格なルールは存在しません。

重要な経営判断は正確な知見に依存しており、その知見は入力データの質にかかっているため、アンケート設計から割当設定、スクリーニング、サンプリング、データクレンジング、分析に至るまで、調査プロセスのあらゆる段階でこうしたトレードオフを理解することが重要です。また、正しい重要な経営判断を下す上で知見の正確性が何よりも重要となる場合、いつトレードオフに対して慎重になるべきかを把握しておくことも重要です。

質の高い回答者とトレードオフの概念
多くの人にとって、質とは調査への参加者がどのように振る舞うか――回答を急いだり、すべての項目に同じ回答をしたりすることなど――を指します。一方、パネル内でのより広範な行動に注目する人もいます。例えば、メンバーはどれくらいの数の調査に参加しているか、どのくらいの頻度で参加しているか、といった点です。また、「調査結果は期待通りか」「ベンチマークと一致しているか」と問う人もいます。

これは、品質に関する標準的な測定基準が存在せず、その定義はいずれも複雑であることを意味している。品質管理および品質保証に関する一連の国際規格であるISO 9000は、「目的適合性」という概念を用い、品質を「一連の固有の特性が要求事項を満たす程度」と定義している。

この定義により、さまざまな品質評価の枠組みが可能となります。調査中の行動に焦点を当てる場合は、その行動が基準を測定可能なレベルで上回っていることが求められ、データポイントがベンチマークと一致することを求める場合は、その一致点を探します。完璧は達成できないことを踏まえると、何かしらのトレードオフが必要になるということです。

例えば、30分間のアンケートにおいて「直線回答を許さない」という品質基準を設けている研究者は、2つのトレードオフに直面します。すなわち、直線回答こそが真実である人々を排除する一方で、30分間のアンケートに真面目に取り組む人々のみを受け入れるということです。そうした人々は、果たしてどれほど代表性があるのでしょうか?不注意な行動を測定するより繊細なアプローチを採用すれば、こうしたトレードオフを緩和できるかもしれませんが、それには時間と労力がかかります――これもまた、別のトレードオフなのです!

この問題は、トレードオフが本来あるべき姿として認識されない場合に生じ、その結果、研究者が「直線化」を排除しただけで完璧を達成したと誤って考えてしまうことにつながる。

研究における一般的なトレードオフ
実際には、研究において私たちは常に品質面でのトレードオフを迫られています。サンプリングそのものが妥協の産物であり、データの絶対的な正確性を得るためには、完全な全数調査が必要となります。

私たちは日常的に、次のようなトレードオフを受け入れています:
• サンプルサイズ、カバレッジ、または調査期間 対 コスト
• オンライン調査 対 対面または電話による調査手法
• 定性的な回答 対 定量的なデータ
• ウェイト付け 対 クォータ達成

そして、以下は私たちが直面する、もう少し曖昧なトレードオフの例です:
• 聞きたい質問をすべて盛り込むこと vs. 調査時間を短縮して回答者の関与度を高めること
• 具体的な割当数 vs. 調査を完了するために確保できる時間
• 調査対象の幅広さ vs. 回答率
• 調査範囲の広さ vs. コスト
• 品質管理(QC)に費やす時間 vs. 分析に充てる時間

標本抽出におけるトレードオフ
今日では、特に標本抽出において、さらに多くのトレードオフを検討する選択肢があります。標本源によっては、募集、維持、報酬のコストが高くなるものもあり、そうした人々を除外することでコスト面でのトレードオフを図ることができます。通常、そうした人々を除外しても人口統計学的クオータは満たせますが、フレームの網羅性を高めるはずの心理的特性やライフスタイルの多様性の幅を逃してしまうことになります。

研究の「不文律」を再検討する
トレードオフの枠組みを用いて品質について考えるということは、サンプリングや研究における「不文律」のいくつかを再考することを意味します。こうした不文律の中には、真の品質上のメリットがないにもかかわらず、「チェックボックスにチェックを入れる」だけで安心感を得られるものもあります。
1.N=1000。950で調査を終了しても、精度の低下はごくわずかである
2.調査中のデモグラフィック情報の確認。ここでは、回答者の苛立ちや疲労により、エンゲージメントが低下するリスクがある
3.カテゴリーのロックアウト。Dynataの調査によると、ロックアウトを行わなくてもデータの不整合はほとんど見られず、12週間後には全く見られない
4.すべての「ストレートライナー」を除外する。最も洗練された手法であっても、誤検知は発生する
5.人口統計学的クオータ。調査のテーマによっては、年齢、性別、収入、学歴に関する厳格なクオータは不要である場合がある
6.質問文の精緻さ。冗長な表現はエンゲージメントを低下させる。

トレードオフと「目的に適合した品質」
この品質のトレードオフの限界は「目的に適合した品質」によって定義されるため、この2つの概念は密接に結びついていなければならない。

極端な例を挙げると、あるベテラン政治家がスキャンダルに巻き込まれ、ジャーナリストがインタビューを要求してきたとします。時刻は午前9時で、その政治家には対応を決めるために4時間の猶予があります。研究者であるあなたは、その時間内で何ができるかを知っていますが、それは決して最適な対応とは言えません。

• アンケートの作成、プログラミング、テストに1時間かかる――パイロット調査やセカンドオピニオンは行わない
• データ準備に30分しかかけられないため、質問は少なく、シンプルでなければならない
• 午前10時から正午までの間に回答可能な人だけが対象となる
• オンライン調査が唯一現実的な手法であり、サンプル確保のためならほぼどんな価格でも支払うことになる
• 一部の人口統計データが不足しているため、データを重み付けしなければならない
多くのトレードオフを迫られながらも、期限内に実用的なデータを提供し、「目的に適合する」という要件を満たします。

トレードオフを理解することで、プロジェクトのデータ品質が研究目的を満たすのに十分であるという確信が持てます。こうしたトレードオフを特定し、質の高い成果を生み出すための適切な判断を下せるよう支援してくれる研究パートナーやサンプリングパートナーを選びましょう。

ESOMARの新しい質問項目は、ご自身の調査において「目的に適した品質」とは何を意味するのかを考える際の指針としても有用です。

Dynataおよび高品質なデータに関する詳細については、www.dynata.com/dynata-dataをご覧ください。