ウェブサイト全体をご覧になるには、こちらをクリックしてください

生成AIという諸刃の剣:
 回答者による不正のリスクを軽減する

タミー・ロスナー
データ品質担当ディレクター

生成AIツールが一般に広く普及したことを受け、AIを市場調査にどのように活用できるかについて、多くの議論が巻き起こっています。例えば、大量の自由記述式回答からテーマを要約したり、アンケートデータから大まかな傾向を特定したりすることなどが挙げられます(例: Kieser, 2023)。こうした技術が成熟するにつれ、ChatGPT、Llama、Bardといった生成AI(GenAI)ツールは、市場調査データからより迅速かつ効率的にインサイトを引き出すことを可能にするだろう。 

もちろん、他の新しい技術と同様、生成AIも諸刃の剣となり得ます。生成AIツールがもたらす革新の一方で、それが私たちに対して悪用される可能性もあるという深刻な懸念も生じています。生成AIへのアクセスが一般化したこの新しい時代において、生成AIの進歩は、詐欺師の摘発にどのような影響を与えるのでしょうか。生成AIによって、技術力の低い詐欺師であっても、一見妥当に見える回答を大量に生成できるようになり、詐欺の発見が難しくなるのではないかという懸念は、当然のことながら存在します。 

例えば、詐欺師たちは、AIに自由回答形式のアンケート質問を与え、特定の人口統計学的属性を持つ個人の視点から、所定の文字数で複数の回答を生成するよう指示することができます(例: Unicorny ポッドキャストのエピソード「AI. Everything, Everywhere, All at Once」を参照)。そうすると、AIは、それらの自由記述式の質問に答えるために使用できる、独自かつ妥当な回答のセットを生成します。現時点ではGenAIの回答は依然としてかなり初歩的なものですが、技術が進歩するにつれて、これらの回答と実在の人間による正直な回答とを見分けることが難しくなる可能性があります(例: Crothers, Japkowicz, & Viktor, 2023)。したがって、不正検出において、自由記述式質問を数ある品質チェックの一つとして単に確認するだけでは、その信頼性はすでにますます低下しつつある。これは、市場調査における不正検出にとって課題となっている。というのも、自由記述式質問は、これまで業界が不正を摘発するための主要かつ最も有用な手段の一つであったからである。  

GenAIによる不正検出に対するこうした懸念は当然のものですが、GenAIが容易に利用できるようになる以前から、高品質を確保するためのデータの前処理は、単に自由記述式の回答を読み通すだけという単純な作業よりも複雑でした。質の低い自由記述式の回答は、 詐欺の兆候である可能性はありますが、多くの場合、不完全ではあるものの誠実な実際のパネル参加者の行動に 不正の兆候となる可能性はあるものの、多くの場合、不完全ではあるが誠実な実際のパネル参加者の行動に起因しています。自由記述式の質問を嫌う一方で、選択式の回答には喜んで答える人もいます。また、調査自体の構成が不適切で、回答者の関与を損ない、結果として質の低い自由記述式回答を招くケースもあります。 また、1つか2つの自由記述式質問には時間をかけて丁寧に回答できるが、5つもの質問にはその余裕がないという人もいます。したがって、本物の熱心な回答者であっても質の低い自由記述式回答を提出する可能性は十分にあるため、そのデータを破棄することはデータ品質の観点から理想的とは言えません(例: McCarthy, 2022)。人間は不完全な存在であり、毎回100%の関与度でアンケートに回答し続けることはあり得ません。そのため、私たちはかねてより、質の低いデータを特定するために複数の種類の品質管理質問を使用し、一連のチェックに合格しなかった回答者のみを除外することを推奨してきました(例: Phillips, 2013)。要するに、データ品質は自由記述式回答のみに依存してはならない。これは、GenAIがこれほど容易に利用可能になる以前の状況であった。 

さまざまな種類のチェックに加え、回答者が不正行為を行っていないか、あるいは関与度が低すぎて有効な回答とはみなせない状態になっていないかを確認するために、自由回答欄のチェック以外にも活用できる、また活用すべきツールが数多く存在します。その一例が、Dynata社の「QualityScore™」です。これは調査レベルで採用され、データセットから不正や関与度の低さを検出して排除します。 QualityScore™は、175項目以上の評価基準を持つ機械学習(ML)モデルであり、回答内容、受動的な行動、デバイス情報など、さまざまな種類のアンケート回答行動を分析して、質の低い回答者を特定します。また、自由記述式の回答を多角的に評価することで、生成AI(GenAI)の使用の可能性を検知するのにも役立ちます。 例えば、QualityScore™は、マウスの動きや回答のコピー&ペーストなど、GenAIツールの使用に関連する可能性のある受動的な行動を評価します。詐欺師は調査を迅速に、あるいは自動的に進めようとする動機があるため、GenAIを単独で使用する可能性は低いです。そのため、不正検出においては、回答速度、回答パターン、ページの翻訳といった他の不審な行動に注意を払うことがさらに重要になります。 ChatGPTの一般公開を見据え、2022年後半にQualityScore™のアルゴリズムが改訂され、こうした受動的な行動への重点がさらに高められた。不正行為を行っており、調査に全く関与していない回答者が特定されると、そのデータはリアルタイムで除外されるため、最終的なデータクレンジング作業がより容易かつ効率的になる。   

もちろん、QualityScore™だけが不正検出に役立つ唯一のツールというわけではありません。例えば、Dynataのパネルシステムで不審な人物としてフラグが立てられた場合、その回答者には政府発行の有効な写真付き身分証明書による本人確認が求められ、確認が完了するまではそれ以上のアンケートへの回答ができなくなります。さらに、回答者に関するあらゆるデータポイントを活用し、包括的かつ履歴全体を考慮したアプローチをとることが極めて重要です。 当社は、回答者を現在の調査内での行動だけでなく、過去の履歴(過去に良質なパネリストであったか、あるいは他のプロジェクトでフラグが立てられたことはあるか?)、全体的な観点(他の回答者はどのように行動しており、この調査の文脈においてどのような行動が典型的か?)、そして体系的な観点(当社の調査ルーティングシステム内での行動はどうか、トラフィックパターンに異常はないか?)からも評価しています。  

多くの新技術と同様に、GenAIもまた、詐欺師たちが大規模なアンケート詐欺を行うために利用しようと試みるツールとなる可能性が高いでしょう。確かに、データの品質を評価する際、自由記述式のチェックだけを唯一の手段として用いるべきではありません。 パネルにおける回答者の体験の各段階内および段階をまたがって、複数のツール(AIも含む!)やチェックを厳格かつ的を絞って活用することが、最高品質のデータを確保するための鍵となります。これがDynataが採用しているアプローチであり、その成果は顕著です。自動品質クリーニング後の調査却下率は業界で最も低く、平均でわずか3~4%にとどまっています。一方、多くの企業では15%以上が却下されています。 これらを総合すると、GenAIが市場調査に確かにリスクをもたらすものの、AI/MLを含む新しい手法や、技術の継続的な改善によって、それらのリスクは軽減できることが明らかです。こうした状況において、GenAIがもたらす機会こそが、探求すべきはるかに実り多い道であると言えます!