Webアンケートは、手軽に多くの人から意見を集められる便利な手法ですが、その「画面の作り方」ひとつで、得られるデータの質が大きく変わってしまうことをご存知でしょうか。

アンケート作成者は、良かれと思って設計した画面が、実は回答者の負担を増やし、不正確な回答を誘発しているかもしれません。しかし、具体的にどのような作り方が回答にどう影響するのかは、これまで感覚的に語られることがほとんどでした。

本コラムでは、アンケート画面の設計が調査結果に与える影響を明らかにするため、注釈の位置やフリーアンサーの位置など複数の実験調査を実施した検証内容を解説します。

 

調査概要

まず、「『アンケート画面の作り』でどの程度調査結果がかわるのか」調査するために、実際に行った概要が下表となります。

表　調査概要

調査目的		「アンケート画面の作り」でどの程度調査結果が変わるのか？ 実データによる具体例を提示し、調査設計上考えるべき点について考察を行う。
調査課題		①　マトリクスの軸項目に「その他」があったとき、設問文だけに注釈があるか、表側項目内にも注釈をいれるのかで、正しく回答できる率に違いがでるのかを確認 ②　改ページ前にFAがあるケース、別ページでFAがあるケースで、記載の量や内容に差がでるのか？ ③　マトリクスの表頭を間に挟む、一番上と下だけに配置、回答に違いがでるのか？ ④　画像の有無で認知率・購入経験率はどのくらい変わるのか？ ⑤　その他、調査品質に関わるデータに関して 　　・アンケートに「正しく回答できない」と負担を感じる内容 　　・負担を感じずに丁寧に回答できる質問数や回答時間、選択肢数 　　・ダミー項目における正答率と回答時間 　　・ダミー項目の効果について 　　・デバイス別の行動特性について
調査手法		Webアンケート
対象者条件	性別	男性、女性
	年齢	20～50代
	地域	全国
	その他条件	有職者（パート・アルバイト含む） パソコンまたはスマートフォンでアンケートを回答している
回収数	本調査	800サンプル
割付
設問内容の違い
調査期間		2022年5月16日（月）～　2022年5月19日（木）
調査機関		株式会社アスマーク（旧マーシュ）

 
今回の割付は複雑になっており、分ける要素として以下の3つを組み合わせました。

• A群 or B群（ダミー設問あり、なし）
• 性年代別（20～30代男性、40～50代男性、20～30代女性、40～50代女性）
• デバイス別（PC、スマホ）

 
また、これに加えて設問内容にも違いがあります。上表の通り、例えば調査課題①においては、グループ①には「設問文に注釈」を、グループ②には「項目にも注釈」を表示するといった違いを設けました。
具体的には、このあとそれぞれ、解説をしていきます。
 

 

 
 

マトリクスの軸項目に「その他」があったとき、設問文だけに注釈があるか、表側項目内にも注釈をいれるのかで、正しく回答できる率に違いがでるのかを確認

まずは、「マトリクス（表形式）の軸項目に「その他」があったとき、設問文だけに注釈があるか、表側※項目内にも注釈をいれるのかで、正しく回答できる率に違いがでるのか」を検証してきます。
※　表側とは、マトリクスにおいて、軸となる側に並んでいる各項目のことを言います。
 
この検証をするために、グループ①とグループ②で一部内容を変えた下図を用意しました。

 
表側の一番下の項目「その他」は、自由に記述が可能なFA欄^※を設けました。この欄は、グループ①もグループ②も任意回答としており、テキストを入力しなくても進むことができる設定にしています。
※　まずFAは、Free Answer の頭文字をとったもので、設問に対して対象者が自由に意見や考えを記述できる回答形式となります。そのため、FA欄は、FAで回答できる欄です。
 
そして、グループ①とグループ②の違いは、注釈を入れる位置となり、かんたんにまとめると以下です。
グループ①：設問文
グループ②：設問文+表側
 
この違いから正しく回答できる率に違いがでるのかを確認していきます。
 

調査結果

調査の結果、下図のような結果が得られました。

 
まずご覧いただくと、グループ①とグループ②とで、「どちらともいえない」の割合が異なることがわかるかと思います。
グループ①では約48%、グループ②では約92%となっており、約45ポイントの差が見られます。
また、グループ①では「どちらともいえない」の割合がグループ②と比べて少ない一方で、「あてはまらない」が約46%を占めています。これはグループ②の約5%と比較すると約41ポイント。
上記と以下注釈の内容から、グループ①の回答者は、「その他」に該当する選択肢がない場合に、「あてはまらない」を選択した可能性が推察されます。
 
注釈の内容：「その他」に該当するものがない場合は、「どちらともいえない」にチェックを入れてください。
 
そして、グループ①では、設問文にしか注釈文を入れなかったので、上から「『選択を間違えても、選びなおさずに進むことがある』か、、、これは、『あまり当てはまらない』かな、、、『めんどくさくなってアンケートを止めることがある』、、、『どちらともいえない』、、、」と順々に回答しているうちに注釈文のことを忘れてしまったのかな、と考えます。
 
続いて、実際にFA欄に入力していただいた文章も見ていきましょう。
グループ①

 
左から2列目の「Q3-15」には「1～5」の数値が入っておりますが、1は「あてはまる」となり、2は「ややあてはまる」といった形で、「あてはまる～あてはまらない」を数値で表したものになります。
 
この入力内容からわかることは、「『5』を選び、『ない』や『特になし』といった内容を入力している回答者」は、本来「3」を選択すべき回答者だったということです。言い換えれば、注釈の内容に従っていないと言えます。
 
グループ②

 
グループ②は、グループ①と比べFA欄に入力していただいた人が少なかったです。ですが、グループ①で見られた本来「3」を選ぶべき人は見当たらないように思いますので、正しく回答いただけているんじゃないかと思います。
 
また、グループ①では約4名の方に長めの文章がありましたが、グループ②では2名となりました。グループ①の方が魅力的に映る方もいらっしゃるかと思いますが、目的を見失ってはいけません。もし、「詳細の意見を文章で収集し、ビジネスに活かしたい」という目的の場合は、「それ専用の設問を加える」のが適切でしょう。一方で、この設問の目的は、「各選択肢の割合から、気づきを発掘し、ビジネスに活かすこと」です。そして、ここでの「その他」の役割は、用意した選択肢からは選べない方が選択できるようにすることです。
 
以上の結果から、グループ①とグループ②では明らかに“違い”によって、回答結果に影響出たことがわかります。加えて、各グループの入力内容から「その他（FA欄）」の近くに注釈があることで、正しく回答できていたことから、必要に応じて都度注釈を入れる工夫は回答精度を高めると考えられます。
 
なお今回、実験調査なのでこのような設問を作成しましたが、表側（軸となる側）に「その他（FA欄）」がある形式は望ましい形ではなく、提示した項目に対して「該当する人が○○％」という聴取の方法が定量調査として望ましい設問の作成方法だと考えています。
 

 
 

改ページ前にFAがあるケース、別ページでFAがあるケースで、記載の量や内容に差がでるのか？

次に、２つ目の検証として、「改ページ前にFA^※があるケース、別ページでFAがあるケースで、記載の量や内容に差がでるのか？」について解説していきます。
※　FAとは、Free Answer の頭文字をとったもので、設問に対して対象者が自由に意見や考えを記述できる質問形式を指します。アンケートの最後に設置される「ご意見・ご要望」欄などが、その例です。

この検証をするために、まず対象者に弊社人事サービスのCMを視聴していただき、認知に関する質問をしました。下図がそのアンケート画面です。

 
そして、本命の「FAがあるケース、別ページでFAがあるケース」を比較するため、サービスの利用意向とその理由を尋ねる質問を下図のように2パターンに分けて提示しました。
 

 
左側は同一ページにFAがあるケースです。
一方右側は、別ページにFAがあるケースです。もし、利用意向を尋ねる質問に「とても利用してみたい」と回答した場合、次のページで「前問で『とても利用してみたい』とお答えの方におうかがいします。」といった形で、改めて理由を尋ねる形式としました。
 

調査結果

調査の結果、下図のような結果が得られました。

 
この図は、利用意向の項目別にFAの平均文字数を示したものです。
 
結論から申し上げますと、FAの設置場所による平均文字数の違いは、ほとんど見られませんでした。たとえば、「1. とても利用してみたい」と回答した層では平均文字数22文字と20文字、「2. やや利用してみたい」と回答した層では16文字と17文字と、大きな差はありませんでした。
 
次に、「内容はどうなのか？」という点で、どちらのパターンにおいても平均文字数が最も多い「とても利用してみたい」と回答した方々のFAの内容を確認していきましょう。
 

 
この図で注目すべきポイントは、「興味があるから」といった10文字未満の回答（ピンク色に色付けした部分）の割合の違いです。FAが「同一ページ」にある場合、10文字未満の回答は全体の約2割でした。一方で、FAが「別ページ」にある場合は、この10文字未満の回答の割合が4割でした。つまり、回答の平均文字数は変わらないように見えても、その中身は具体的な示唆を得にくい、情報価値の低い回答が多く含まれていたのです。
 
FAが同一ページにある場合、回答者は「選んだ理由を書かなきゃいけない」ということが、あらかじめわかっているので、選択肢と理由を考えながら、慎重に選択肢を選んだのではないかと考えています。言い換えれば、別ページにFAがあるケースでは、「直感的に『とても利用してみたい』を選んだものの、いざ理由を聞かれると、すぐに思いつかなかった」という、“深く考えずに回答した人”が一定数存在したのかもしれません。
 
したがって、回答の精度を上げるという意味では、FAは同じページに設置した方が良いでしょう。特に、購入意向や利用意向を問う質問で、その回答理由をFAで聴取する場合は、同一ページに設置することが望ましいのではないかと言えます。
 

 
 

マトリクスの表頭を間に挟む、一番上と下だけに配置、回答に違いがでるのか？

3つ目の「マトリクスの表頭を間に挟む、一番上と下だけに配置、回答に違いがでるのか？」について検証するため、下図の質問を用意しました。
 

 
マトリクス設問は、縦に長くなるケースが多いのですが、この図を見ても、「縦に長いな」という印象を受けるかと思います。こういった状況で、グループ①には表頭を間に挟み、グループ②には表頭を一番上と下にのみ配置しました。
この違いによってどのような影響が出るのか、グループ①とグループ②を比較して検証します。
 
なお、グループ①とグループ②の共通事項は、質問文自体が一緒なのと、表側にはランダマイズを掛けていることです。
このランダマイズをすることで、「Aさんは『親しみがもてる』が一番上、Bさんは『シンプルである』が一番上」という可能性が発生する状況を作っています。
 

調査結果

調査の結果、下図のようなデータが得られました。
 

 
まず、上側の緑の「表頭を間に挟んだケース」と下側の水色の「表頭は一番上と下のケース」で青と赤のグラデーションを見比べてみると、赤の場所と青の場所にあまり差は見受けられません。そしてその証拠を示すかのように、右端の「画面別、各メーカーのイメージスコアの相関係数」がいずれも0.9を超え、高い相関を示しています。
 
次に、これも右側にある項目ですが「平均反応数」を見てみましょう。例えば、花王の平均反応数は
 
表頭を頭に挟んだケース：3.54%
表頭は一番上と下のケース：2.17%
 
となり、表頭を頭に挟んだケースの方が0.5ポイント高いです。
この差を計算したものが、下部にある「差分」と記載された右側の表です。他の日用品メーカーでも、「表頭を間に挟んだケース」の方が0.3～0.5ポイント高いことがわかります。
こうなった要因として、「表頭を間に挟むことで目に留まるポイントができ、回答を意識させるきっかけにつながった」と考えています。
これについて、さらなる検証が必要になりますが、自分が実際にQ20「表頭は一番上と下のケース」で回答するシミュレーションを頭の中でしてみると、「上から表側に対して回答をしていき、中盤から後半は『大変』と思ってしまうだろうな」とイメージしていまいます。皆さまはいかがでしょうか。
そのイメージは、あくまで仮説ではありますが、その『大変』という思いが回答負荷につながり、「選択」しなかった方がいたのではないかと想像できます。
 
これらの結果から、表頭を間に挟むことは回答数の減少を防ぐ効果があると推測します。そのため、縦長のマトリクスでは、スクロールの途中で表頭を挟むことが望ましいでしょう。
 

 

画像の有無で認知率・購入経験率はどのくらい変わるのか？

4つ目の「画像の有無で認知率・購入経験率はどのくらい変わるのか？」について検証するため、下図の質問を用意しました。
 

 
これは、調査期間が5月中旬となり、3月～4月に発売された新商品の認知と購入経験について尋ねました。
表側が「メーカー名 商品名 <画像表示>」と仮の文章を入れておりますが、実際には、具体的な名称を表示して調査しました。
 
グループ①では画像表示をし、グループ②では画像表示はしないことで、結果に違いが出るのか比較しました。
 

調査結果

調査の結果、下図のようなデータが得られました。
 

 
こちらも検証③同様に、以下3つの構成で上図を用意しました。ななお、表頭の具体的な商品名を出すのは適切ではないため、カテゴリー名のみを表記しています。

• 【グループ①】画像提示あり
• 【グループ②】画像提示なし
• 差分

 
さて、注目すべきは「差分」となります。特に「お茶系飲料」と「タブレット菓子」を見てみると、6.3ポイント、11.8ポイントと画像提示をしている方が高い結果となりました。
お茶系飲料やタブレット菓子の場合、名前だけですと、似たような名前や名前だけでは判断しづらかった面があったのかもしれません。
 
 
そして、もう一つプラスで調査をしました。
その調査のため、画像提示がなかったグループ②へ以下質問をしました。

 
この結果が下図となります。

 
この結果では、「アイス」と「カップ麺」「お酒」が他のカテゴリーと比べ「一致していない」が高いことがわかりました。
「一致していない」と回答をした人の中には、「商品名を知っていて、画像をしっかり思い出せなかったので、画像を見た時に『こういうふうな商品だと思っていなかった』という意味合いで付けた人もいるかもしれません。一方で、「知らない」という人もこの中に含まれると思いますので、誤認を防ぐには、「画像」も提示する方が良いでしょう。
 
 
以上の２つの結果から、同じような示唆ができると考えており、繰り返しになりますが、認知や購入経験の精度を上げるためには画像も提示することが望ましいと言えるでしょう。
 
ここで1点、注意事項があります。画像の収集は弊社では対応が難しいため、発注者様にご提供いただくようお願いしております。あらかじめご了承ください。

 
 

その他、調査品質に関わるデータに関して

この章では、以下の点において、過去に聴取したデータも使いながら、調査品質を考えることにつながるデータを提示し、考察をしていきます。

• アンケートに「正しく回答できない」と負担を感じる内容
• 負担を感じずに丁寧に回答できる質問数や回答時間、選択肢数
• ダミー項目における正答率と回答時間
• ダミー項目の効果について
• デバイス別の行動特性について

 

アンケートに「正しく回答できない」と負担を感じる内容

まずは、「アンケートに「正しく回答できない」と負担を感じる内容」について考察をしていきます。
質問文や選択肢は下図となります。
 

 
これは、2014年、2021年、2022年の計3回聴取しております。
 

調査結果

 
調査の結果、下図のようなデータが得られました。

 
表頭の左から右に並ぶ順番は回答数が多かった順にしております。
 
TOP3は以下です。
1.　41.3%：似たような内容を何回も繰り返し質問される
2.　38.6%：質問数が多い
3.　36.8%：質問が長すぎる
 
続いて、下側の「今回-前回（PC）」を見ていきましょう。
赤で囲ってある部分が注目していただきたい箇所となり、左から以下となります。
ポイントが少ない：+7.6
選択肢や質問文がわかりづらい：-4.5
設問に該当する選択肢がない：-3.3
 
アンケートに「正しく回答できない」と負担を感じる内容として、目立って増加したのは「ポイントが少ない」となりました。前回とくらべやや増加したことがわかります。
一方で、目立って減少したのは「選択肢や質問文がわかりづらい」と「設問に該当する選択肢がない」の2つとなり、いずれも調査票作成のスキル的な部分となりました。そのため、スキル的な面で向上し、改善傾向に至っているのではないかと、考えています。
 

負担を感じずに丁寧に回答できる質問数や回答時間、選択肢数

次に、「負担を感じずに丁寧に回答できる質問数や回答時間、選択肢数」について考察をしていきます。
質問文や選択肢は下図となります。
 

 
こちらも、2014年、2021年、2022年の計3回聴取しております。
 

調査結果

 
上から、質問数の調査から下図データを用意しました。

 
表側を見てみると2021年だけA群、B群と分かれていることがわかります。これは、この「負担を感じずに丁寧に回答できると思う質問数」という質問が、アンケートの前半で聞かれる場合と、後半で聞かれる場合とで、何か違いが出るのではないかと考え、それぞれA群、B群としてグループ分けして質問したため、分かれているという背景があります。
 
さて、本題の2022年の結果では、大きな変化は見受けられませんでした。標準偏差（データのばらつきを示す値）がやや増加していることから、負担の感じ方に個人差が大きくなっていると読み取れると考えています。
また、平均は約15個でしたが、「6～10問」が約42%で最も回答が多かったです。ただ、調査課題に対して結論を出すためには、「6～10問」よりもう少し必要というケースが多いので、20問以内が妥当だと考えています。
 
次に回答時間の結果を見ていきましょう。

 
最も多かったのは、「4～5分」でした。こちらも、実際には4～5分を超えるケースの方が多いと考えておりますので、10分以内、多くても15分以内というところが妥当だと考えています。
 
そして、最後の選択肢数も見ていきましょう。

 
「5個以内」が圧倒的に多く約53%でした。次に多かったのは約30％の「6～10個」でした。できれば、この選択肢数に収めたいところですが、ブランドイメージや購買チャネル、重視点などを調査しようとすると、選択肢数が10個を超えるケースが多くあります。そういった場合は、20個を超えないように設計するのが良いと考えています。
 
 
そして、もう1つ調査をしております。
それは、「今回のアンケートは負担を感じずに回答できたと思いますか」という質問です。
前回と比べ、今回は10問程度質問が増えているため、1人あたり25問程度回答していただく設計にしました。
その結果を下図に示します。
 

 
右側にある「負担感じない計^※1」と「負担感じる計^※2」について、今回と前回の比較を以下の表にまとめました。

	負担感じない計	負担感じる系
今回	58%	約57%
前回	約69%	約17%
差	約 -11ポイント	約 +40ポイント

※1　「負担感じない計」は、「負担を感じずに回答できた」と「どちらかといえば負担を感じずに回答できた」の合計です。
※2　「負担感じる計」は、「どちらかといえば負担を感じた」と「回答に負担を感じた」の合計です。

この表から、今回の方が前回と比べて負担を感じた人の割合が多かったことがわかります。

そして、グループ別と群別という内訳がありますが、これはそれぞれ下表となります。

グループ別	『④認知・購入率の違い』を検証するため、「グループ①には画像があり、グループ②には画像がないという違い」と、「グループ②のみ追加の質問をしているので、1問分の差」があります。
群別	後述する「ダミー設問」に関する考察をするため、A群にはダミー設問があり、B群にはない、という違いがあります。

 
群別の方では、ダミー項目を入れている/入れていないで、回答者が「気を付けなきゃ」と思って、負担を感じる、といったことがあると思い、数値を出しました。
この結果としては、ダミー設問があるA群の方が、負担を感じる方に少しスコアが高かったです。

前回の調査に関しては、実験調査の第2弾の話になるのですが、その時はグループを①～③の3つに分け、下図のように質問を割り振りました。

 
ここで注目すべきはグループ②です。グループ②は、質問数は他のグループより1問少ない14問です。ただ、20×20の巨大マトリクスで回答していただいている質問があり、「今回のアンケートは負担を感じずに回答できたと思いますか」の結果の図を見てみると、他のグループと比べて負担を感じる人の割合が高いことがわかります。このことから、やはり巨大マトリクスは回答負担が大きいということが見えてきます。
 
また、このグループ②の回答傾向が、今回の結果と似ている部分があることから、20×20の巨大マトリクスの回答負担は、質問数が5問～10問程度増加した場合と同等レベルの回答負担なのかな、と感じました。
そのため、改めて、巨大マトリクスを設置するのは“なるべく避けるべき”ということが再認識できました。
 
なお、軽く触れた【第2弾】実験調査のセミナーは以下からご覧いただけます。
「アンケートの回答負荷、データに与える影響は？～実験調査の公開と解説～（※無料会員登録でご視聴可能です。）」はこちら＞
 

ダミー項目における正答率と回答時間

次に、「ダミー項目における正答率と回答時間」について考察していきます。
ここでの「ダミー項目」というのは、調査とは関係なく、回答者が質問文や選択肢などの内容を注意深く確認して回答しているかを判断するために入れる項目を指します。
 
では、考察するために用意した質問文や選択肢を以下に示します。

 
すでに上図内に説明文がありますが、要約すると、
A群：ダミー項目（選択肢に「ここでは一番右の選択肢をお選びください」がある）
B群：ダミー項目なし
となります。
このA群とB群の正答率と回答所要時間を比較して、検証をしていきます。
 
 

調査結果

 
調査の結果、下図のようなデータが得られました。

 
この図の『正答』とは、「ここでは一番右の選択肢をお選びください」という選択肢に対して、『一番右の選択肢』を選択できた人を指します。
正答率は、全体で約96%でした。
 
次に、「アンケート回答時間」との関連を確認してきましょう。
25個程度答えていただく中（スクリーニング合わせるともう少しある）で、5分未満で回答を終えた方の誤答率は約18%でした。7分未満は約14%、10分未満は約3%と減っている印象を受けますので、バーッと早く回答をしている人ほど、しっかり見て答えていない可能性が示唆されます。
 
今後は、ダミー項目のありとなしで回答時間に違いがあるのか見ていきましょう。
 

 
この図は、Q10におけるA群とB群の回答時間の平均、中央値、標準偏差を示したものです。
そして、平均値は「トリム平均」を用いて算出しています。この「トリム平均」は、異常値による偏りを軽減するために用いられる手法であり、今回は「回答時間が短い人と長い人、それぞれ5%ずつデータをカットして、平均を計算」しています。
A群にはダミー項目が含まれるため、B群より1項目多くなっていますが、A群の平均値は67秒であり、B群と比較して8秒長くなっています。中央値および標準偏差（ばらつきの大きさ）からも、A群の方が回答に時間を要していることが確認できます。
この結果から、ダミー項目があったことによって、「スピードが落ちているんだろうな」ということも見て取れるかな、と思います。そのため、このダミー項目がきっかけとなり、回答スピードを落として、よく目を通す人が増えた可能性も考えられそうです。
 

 

ダミー項目の効果について

続いて、「ダミー項目の効果について」というところで考察をしていきます。
質問文や選択肢は下図となります。

 
ここでの設問は、同じ列のみチェックをするストレートライナーと呼ばれる人がどれぐらいいるのかが、わかるように設計しました。
たとえば、「あまりしゃべらない」に対して、「全くあてはまらない」と回答した人が、「活動的だ」や「外向的だ」に対して同じ「全くあてはまらない」を選択しているのは不自然であり、これがストレートライナーです。

今回は、実験調査ということで、そのまま検証データとして取扱いますが、実際の案件では、回答精度に疑問がある人の回答は、納品から“なるべく”除外しておりますので、ご安心いただければと思います。
 
 

調査結果

 
調査の結果、下図のようなデータが得られました。

 
たくさん表があり、わかりづらい部分あると思いますが、一つずつ解説しますので、ご安心ください。
表の説明の入る前に、ここでの平均値についてご説明します。この平均値は前述したトリム平均となり、図にも記載しておりますが、「回答時間が短い人、長い人、それぞれ5%ずつデータをカットして平均した値」となります。
 
それでは、まず右側の表と左側の表の違いから解説していきます。
これは、選択肢をランダマイズしたグループか、していないグループか、の違いになります。
ランダマイズをしていないグループでは、下図のように同じような概念が4つずつ並んでいるので、答えやすい設計にしております。
 

一方で、上図の選択肢の順番をバラバラになった方（ランダマイズをしている方）では、1つずつ慎重に見ていかないと矛盾が発生する（不自然さが発生する）回答になってしまうので、回答負荷がかかるのではないかな、と考え、設計しております。
 
 
次に、上と下の表の違いについて解説します。
上の表は回答時間関係の数値であり、下の表はストレートライナー率となります。
 
 
最後に、それぞれの表にはA群とB群で分かれて数値が出ており、Q10でダミー項目を設置したことで、Q11にどのような影響が表れるのかを確認するために、それぞれ数値を出しました。

それでは、データの方を見ていきましょう。
「選択肢の順番をバラバラになった方（ランダマイズをしている方）では、1つずつ慎重に見ていかないと矛盾が発生する（不自然さが発生する）回答になってしまうので、回答負荷がかかるのではないかな」と前述しましたが、ストレートライナー率を見ると、A群B群ともに、ランダマイズをしている方が高くなっているので、「回答しにくかった」のではないか、と考えられます。

そして、前問（Q10）のダミー項目の影響を見ていきます。
回答時間×ランダマイズなし（左上表）では、あまり差は見られず、むしろA群の方がスピーディーに回答しているという結果でした。
一方で、回答時間×ランダマイズあり（右上表）では、B群と比べて、A群の方が回答にかける時間がやや長くなりました。もう一点見ておくべきところは、A群の標準偏差です。B群の約2倍となっており、ダミー項目の効果として、「全員に影響するというよりは、用心深さを備えた回答者に対して、効果を活気する方法」だと考えた方が良いと考えます。
 
 
これらの結果から、以下のように考察できます。

• ランダマイズなし×同じような概念が並ぶ」方が、スムーズに回答しやすそう
• ダミー項目を加えることで、よく見る必要がある設問において回答精度が高まる効果がありそう

※全員に影響するというよりは、「用心深さ」を備えた回答者に対して、効果を発揮する方法と考えている

 

デバイス別の行動特性について

最後に、「デバイス別の行動特性について」考察をしていきます。
質問文や選択肢は下図の通りです。

 
左はスマートフォンの画面、右はPCの画面となります。
PC画面ではおおよそ一行で表示されているテキストが、横幅の狭いスマートフォン画面ではほとんどの行において途中で折り返され、複数行で表示されていることが分かります。スマートフォンとPCのディスプレイサイズの差によってこういった違いがあり、回答のしやすさが異なる中で、「以下のアンケート回答に関わる項目について、あなたのお考え、行動に近いものをそれぞれお選びください」という質問をし、「あてはまる～あてはまらない」の5段階評価で回答していただくことで、回答者がどのようなことを感じているのかを明らかにしていきます。
 
なお、こちらの調査は2021年と2022年の計2回聴取しております。
 

調査結果

 
調査の結果、下図のようなデータが得られました。

 
この表は、「あてはまる」と「ややあてはまる」を合計した「あてはまる計」でスコアが高い順に左から並べたものになります。

この表でまず注目したいのは、「スマートフォンでもアンケート回答に支障はないと思う」という選択肢です。スマホ回答者は６割を超えましたが、PC回答者は3割五分くらいになり、差がハッキリ出ています。これは、当事者なのかどうか、という点で差（ギャップ）が発生したのではないかと考えます。

続いて、下側の「今回-前回（スマホ）」に着目します。
赤字部分は前年より5ポイント以上スコアが高まっており、注目していただきたい箇所です。左から以下の通りです。
 
表形式の設問で、回答方法がわからなくてアンケートをやめたことがある：＋7.4
表形式の設問で、なんとなく同じ選択肢を選んで進むことがある：＋5.3
移動中にスマートフォンでアンケート回答をすることが多い：＋7.8
 
この結果からわかることは、マトリクス形式の設問で、集中力を欠いたまま回答している人が一定数いることです。マトリクス形式は、いっぺんにアレコレ回答いただける形式となるため、直感的に便利であり、論理的な部分では、全体の設問数を一部合体させるなどして減らせる面もあるため、「ユーザーの回答負担」という視点が抜けていると、ついついこの形式を色んな設問で使ってしまうことが多いのではないかと考えております。
精度の高い回答データにするためには、単に設問数を減らすだけではなく、答えやすさや回答負担を考慮した設計が望まれるということを、この結果から改めて認識できました。
 

 

 

 
 

まとめ

ここまで、アンケート画面の様々な「作り方の違い」が、回答データに具体的にどのような影響を与えるかの検証について解説してきました。
それらの主な示唆は下表となります。

表　主な示唆

示唆	解説
注釈は「必要な場所」に都度表示する	注釈は設問文だけでなく、回答者が参照する項目の近くに配置することで、意図が正しく伝わり、回答精度が向上するでしょう。
理由を問うFAは「同一ページ」に設置する	選択理由をフリーアンサーで尋ねる場合、質問と同一ページに回答欄を設けることで、より具体的で質の高い回答が得られやすくなるでしょう。
縦長のマトクリスでは「途中に表頭」を挟む	項目数が多いマトリクス設問では、スクロールの途中に表頭を再表示することで、回答者の注意を喚起し、回答数の減少を防ぐ効果が期待できるでしょう。
認知率・購入経験の聴取には「画像」を提示する	商品名だけでは誤認の可能性があるため、画像を提示することで、より正確な認知・購入経験データを取得できるでしょう。
回答者の「負担」を常に意識する	回答者は質問数の多さや巨大なマトリクス設問に大きな負担を感じます。デバイスによる見え方の違いも考慮し、常に応えやすさを意識した設計が不可欠です。また、ダミー項目は不誠実な回答を特定するだけでなく、回答者全体に慎重な回答を促す効果も見られました。

 
これらの結果から、アンケートの品質は、設問内容そのものだけでなく、回答者の視点に立った「画面設計のひと工夫」によって左右されることがわかります。
 
このコラムから得られる示唆を参考に、より回答精度を上げられる調査設計をしていきましょう。
 

ネットリサーチ（WEBアンケート）についてのご相談はこちら＞
 

アスマークの編集ポリシー

関連コンテンツ