公開日：2020.01.14

インターネット調査の回答精度（回答の質）をあげるために

リサーチャーコラム

Garbage In Garbage Out（ガーベジ・イン・ガーベジ・アウト）という言葉をご存知ですか？不正確なデータを入力すれば、不正確なデータが出力される（出力の質は入力の質次第）という意味合いで、データサイエンス分野の経験則として使われている格言です。
このことはインターネット調査の実査（データ収集）にもあてはまることでしょう。聴取した回答データが不正確であれば、どれだけ素晴らしい分析を行っても、結果は不正確なもの（役に立たない）ということが言えるのではないでしょうか。

モニターを保有している会社では、いい加減なモニターや不誠実なモニターを排除するための取り組みを行っているはずです。
アンケートをよく読まずにテキトーな回答をしているんじゃないか、と思われるデータが混ざってしまうのは事実でしょう。弊社では、納品数より多めにデータを回収しておき、「データチェックによって不誠実と思われる回答者のデータを納品から省く」という対策を行っています。
さて、そのようなデータ不備・不誠実な回答というのは、ちゃんと回答しないモニターが悪いということだけで片付けていいのでしょうか？自分でアンケートを回答したら、ちゃんと丁寧に答えられますか？
以前、社内で実験調査をしてみたことがあります。本人はちゃんと答えていたつもりでも、実際にはちゃんと設問文や選択肢を見られていない人が意外と多かったという結果が得られました。回答者に悪意はないのに、ちゃんと答えられない。このようなことが現実的に起こっているはずです。

【検証レポート】アンケートの回答負荷、データに与える影響は？　無料ダウンロードはこちら＞

モニターが回答しやすい』調査設計を意識していますか？

不誠実・不正確なデータが増える要因として、私たち調査会社や調査を依頼するクライアントサイドが考えなければいけないのは、調査設計の問題です。ここでいう調査設計とは、「選択肢は背反的かつ網羅的に」といったような、調査票の作り方に関わる技術的な話というよりも、『ちゃんと回答してもらえる』アンケート作りといった意味合いです。

※日本マーケティング・リサーチ協会（JMRA）の委員会である「インターネット調査品質委員会」から、参考になる情報が公開されていますので、興味があれば是非ご覧ください。

http://www.jmra-net.or.jp/committee/internetresearch.html

モニターが「正しく回答できない」と負担を感じるのは？

弊社が2014年に、自主調査でアンケート回答に対するモニターの意見を聞いた結果の一部を下記に掲載いたします。（棒グラフはデバイス別のスコアですが、TOTALのスコアで降順に並べ替えています）

モニターが「正しく回答できない」と負担を感じるのは？

対象者：全国10～50代男女。性年代×回答デバイスの計20セルで50ssずつ均等回収（10代男性スマホ回答のみ30ss回収だったため、計980ssとなっています）

モニターがどんなことに負担を感じているのかというと、「調査ボリューム」や「質問文の長さ」が4割を超えて上位でした。ちなみに、2006年にマクロミルが実施した調査では、「あいまいなことを聞く質問」が約5割でTOPでした（「ネットリサーチ活用ハンドブック」より）。調査票作成の技術的な問題よりも、設問ボリュームの増加、回答時間増加の方を負担に感じる人が増えたということが言えるでしょう。
また、デバイス別で比較してみると、PC回答者よりスマホ回答者の方が「選択肢の数が多すぎる」「表形式設問でチェック項目が多い質問がある」ことを負担と感じているということがわかります。これは、デバイスの画面サイズの影響だと考えられます。
※このデータは2014年と5年以上前のものなので、現在はもっとスマホ回答者比率が高まっているため、選択肢の数やマトリクス形式設問のあり方について、より自制が求められると思っています。

どのくらいのボリューム感なら大丈夫なの？

下記は、負担を感じずに丁寧に回答できると思うボリューム感について尋ねた結果です。『負担を感じずに丁寧に回答できると思う質問数』（数字入力）

・PC 平均17.0問中央値15問最頻値10問標準偏差13.4
・スマホ平均15.1問中央値10問最頻値10問標準偏差10.2

『負担を感じずに丁寧に回答できると思う回答時間』（数字入力）

・PC 平均8.0分中央値5分最頻値5分標準偏差6.0
・スマホ平均8.2分中央値5分最頻値5分標準偏差6.5

もちろん、もっとボリュームのある調査でもモニターは回答してくれますが、負担感が大きい場合、問題をよく読まなくなってしまったり、よく考えずに回答したり、選択肢を見落としたり・・、といった回答の質の低下が懸念されます。（私としては、設問数よりも回答の負担感の方が回答の質を考える上で重要だと思っています）
実際に以前こんなことがありました。持っている家電を尋ねる設問で、選択肢数が70個以上もあるような調査があったのですが、データをみると「洗濯機」と「冷蔵庫」をどちらも持っていない人が1割も出てしまい、これは本当か？と再度その方々のみに選択肢数を絞った追加アンケートを実施しました。その結果、9割以上がどちらも持っているという結果となり、やはりチェックの付けモレだったことがわかりました。

まとめ

不誠実・不正確なデータが多く混じっていたとしても、収集されたデータが集計表になってしまった後では、個々の回答データを眺めることもなく、データの質を意識することは少ないと思います。だからこそ、分析を意味あるものにすするためには分析の前の段階、「調査の設計」と「データのチェック」がとても重要です。
あれも聞きたい、これも聞きたいといって、気づいたら選択肢や設問数が増えていたり、マトリクスを多用してしまったり・・、ということは「調査あるある」かもしれません。
調査環境を悪化させないためにも、調査目的を結論付けるために必要な設問に絞って、モニターが丁寧に回答してくれるような調査設計を行う必要性が高まっていると感じます。
このことを我々リサーチャーのみならず、クライアントサイドの担当者にもご理解いただき、より質の高いデータでのデータ分析を提供できるようにしていきたいと考えています。

インターネット調査についてのご相談はこちら＞

執筆者

里村雅幸

株式会社アスマーク　リサーチソリューショングループ　リサーチャー

弘前大学大学院人文社会科学研究科社会心理学専攻修士

大手チェーンストアで売場を5年経験後、2011年中途入社。アンケート画面作成・データチェック・集計を担当後、現在は定量調査の企画・設計から分析・報告書作成までを主に担当。
生のデータを扱ってきた経験から、調査の品質に関心を持ち、自社の実験調査企画や、他社との共同調査に関わる。
また、JMRAにおける公的統計基盤整備委員会の委員も担い、社内外のデータ活用にも積極的に研究を進めている。

監修：アスマーク　マーケティングコミュニケーションG

アスマークの編集ポリシー