実施するすべてのアンケートは、2つの観点から評価されます。1つは結果に基づく評価です。具体的には、回答完了率、発生率、コスト、収集されたデータの品質などが挙げられます。もう1つは、回答者による評価です。回答者は、回答に要した時間、自分には関係のない質問、あるいは空手帰りにさせられる前に長々と続いたスクリーニング質問などを基準に評価を行います。
この2つのスコアカードが一致することはめったにありません。そして、私たちのほとんどにとって、書き留められているのはそのうちの1つだけです。
回答者のスコアカードはダッシュボードに表示されないため、それを「他人の問題」あるいは「誰の問題でもない」と見なしてしまいがちです。しかし、問題は消えてしまうわけではありません。後になって、回答者が途中で回答を放棄したり、グリッドを一直線に下っていったり、あるいはひっそりとアンケートへの回答を完全にやめてしまったりするという形で、問題が再び表面化してくるのです。あなたが設計した体験こそが、データという形であなたのもとに戻ってくる体験なのです。問題は、それが表面化する前に、あなたがそれに気づけるかどうかです。
見えないスコアカードを可視化する
これが、Dynataが回答者の体験を測定する指標「RISE」の根底にある考え方です。RISEは「Recognizing Innovation in Survey Engagement(調査への関与における革新の認識)」の略ですが、その実際の仕組みは単純明快です。つまり、調査が回答者をどのように扱っているかについて、その調査にスコアを付けるというものです。
これは調査レベルの検証であり、パネル品質のチェックではありません。回答文の表現が巧みだったか、論理が妥当だったかを評価するものではなく、バックグラウンドで実行されるデータ品質管理や不正防止対策とは別のものです。RISEは、より限定的で実用的な問いに答えます。すなわち、「この調査がどのように設計され、回答者にどのような経験を求めたのか、そして回答者はそれにどのように反応したのか」という問いです。
これにより、回答者の体験は、誰もがうなずくような漠然とした価値から、目に見え、比較でき、行動に移せるものへと再定義されます。ある調査結果を別の調査結果と照らし合わせて検討することができます。デザインの選択を変更した際に数値がどう変化するかを観察することもできます。そして、一度数値化されれば、それは抽象的な概念ではなくなり、具体的な手段となるのです。
4つの変数が重みの大部分を占めている
RISEではいくつかの要素が評価対象となっていますが、その中でも特に重要なものがいくつかあります。4つの変数がスコアの約4分の3を占めており、それらは一貫した単一の傾向を示しています:
- コンバージョン率:調査を開始した人のうち、実際に条件を満たして最後まで回答した人の割合。選別による脱落や定員に達したための中途打ち切りは、回答者に「時間を無駄にした」という感覚を抱かせます。
- 予想に対する離脱率:このような調査で想定される数値と比較して、途中で回答を中断した人の割合。離脱率が高い場合は、調査の価値に見合わないほど多くの質問がされていることを示唆している。
- アンケートの長さ:実際に回答者に求めている所要時間。インタビューが長すぎると回答者の気力が尽きてしまい、回答への関与度も回答完了率も低下してしまいます。
- 厳格なスクリーニング:対象者が参加資格を得るまでに、どれだけの質問に答えなければならないか。過度なスクリーニングは、実際の調査が始まる前から労力と信頼を消耗させてしまう。
この4つに共通する点に注目してください。いずれも結局のところ、回答者にどれだけの時間と注意を求められているかという点に帰着します。そして、そのすべては、調査が実際に実施される前の設計段階で下す決定に起因しています。このリストに隠された朗報は、体験に最も大きな影響を与える要因の多くが、まさにあなたが最もコントロールできる範囲内にあるということです。
なぜこれがあなたの数値に反映されるのか
回答者の体験を「あればいいもの」と片付けてしまいがちです。しかし、そうではない理由は、その摩擦が回答者だけに留まるわけではないからです。その摩擦は、あなたが報酬を得て提供すべき結果に直結してしまうのです。
アンケートで質問が多すぎると、回答者は途中で脱落してしまいます。そして、途中で諦めてしまう人たちは、往々にして最も意見を聞きたかった人々であることが多いのです。回答の放棄やスクリーニングによる除外は、調査期間を長引かせ、コストを押し上げます。また、最後まで回答を続けた人々が、当初の回答者群の無作為なサンプルではない場合、サンプルは知らず知らずのうちに偏り、その後のすべての数値にその偏りが反映されてしまいます。ユーザー体験の改善とデータの修正は、切り離して考えることはできません。 これは同じ作業であり、事後ではなく、発生源の段階で対処するだけです。
さらに、長期的な影響もあります。設計の悪い調査にうんざりした回答者は、次回は調査への回答回数を減らすか、あるいは全く回答しなくなるでしょう。これは道徳的な問題ではなく、供給面の問題です。次の調査の成否を左右するパネルは、今回の調査によって維持されたか、あるいは失われた人々で構成されているからです。回答者を尊重した設計は、将来必要となるサンプルを守る設計でもあるのです。
最強のチームが他と違う点
高い成果を上げているチームは、何か「裏技」を見つけたチームではありません。彼らは、回答者の体験を単なる後処理の段階ではなく、仕事そのものの一部として捉えているのです。そこには、繰り返し見られるいくつかの習慣があります:
- 彼らは最初から経験を設計のインプットとして取り入れ、事後検証としてではなく活用している。
- 彼らは基準を定め、調査のたびに議論し直すのではなく、毎回一貫して適用される、調査期間、スクリーニング基準、ターゲット設定に関する明確な内部規範を確立しています。
- 彼らはリリース前にテストを行い、ソフトローンチを活用して、修正コストがまだ低い段階で問題点を洗い出しています。
- 彼らは自らの研究結果から学び、最も優れた研究と最も不十分な研究を比較し、その違いは何かを考察する。
そのどれも、新しいツールや予算の増額は必要ありません。必要なのは、もともとあなたがすでに決定していた事柄に注意を向けることだけです。これが、この提案の率直な実情です。魔法のような数字も、すべてを解決する単一の変更策も存在しませんが、体験を形作る選択はすでにあなたの手に委ねられており、RISEのような指標があれば、どの選択が効果を上げているかを把握できるようになるのです。
取り組む価値のある変化
長い間、回答者の体験は、誰もが重要だと認めつつも、実際にはほとんど測定されていない研究の要素でした。今こそ、それを単なる「感情」として扱うのをやめ、「シグナル」として捉え直す必要があります。このシグナルは、あなたが注目しているかどうかに関わらず、すでに成果や実現可能性、そしてデータに影響を与えているのです。
具体的な着手点をお探しなら、現在実施中の調査の中で最も長いものを選び、その調査に参加している人たちに「5分間を返してあげられる部分はどこか」と自問してみてください。たいていはそのような部分が見つかるはずです。そして、それによって必要なものが失われることは、ほとんどないでしょう。
RISEの採点方法や、実際にスコアを向上させるにはどうすればよいかなど、これらすべてについてさらに詳しく解説するウェビナー「高評価のアンケート体験に共通する点」を、11月17日午前11時(米国東部時間)に開催します。このスコアカードの活用を始めたいとお考えの方は、ぜひご参加ください。

