Webアンケートは、短期間で多くの意見を集められる便利な手法として、さまざまな企業で活用されています。

一方で、アンケート結果を見たときに「この数字は本当に信じていいのだろうか？」と感じたことはないでしょうか？

その原因は設問設計にあるかもしれません。
例えば、質問文が長い、選択肢が多い、自由記述を求める…といった設計です。
こうした設計は一見「丁寧に聞けていそう」に見えますが、その裏で回答者の負担を高め、読み飛ばしやなんとなくの回答を増やしているかもしれません。

そこで本コラムでは、設問設計（質問文や選択肢、設問形式）によって、調査結果がどの程度変わるか確かめるために実施した調査について、検証結果をもとに解説していきます。

 
 

調査概要

まず、回答負荷が回答傾向にどのような影響を与えるか調査するために、実際に行った概要が下表となります

表　調査概要

調査目的	「回答負荷によってどの程度調査結果が変わるのか？」について、実データによる具体例を提示し、調査設計上考えるべき点について考察を行う。
調査課題	①質問文が長いと「読み飛ばし」や「意図が伝わらない」可能性が高まるのでは？という疑問を検証 ②意識してほしい文言の強調の有無によって、結果に違いがあるのでは？という疑問を検証 ③FAで理由を聞く場合と、MAで理由を聞く場合で、得られる結果（情報）の違いについて ④選択肢が多すぎることによる影響の検証 ⑤巨大なマトリクス設問によってどのくらい回答精度の低下がおこるのか ⑥FAの負担感について（追加入力欄があると、選択肢が選ばれにくくなることの検証） ⑦マトリクス形式、MA、同じことを尋ねた場合に得られる結果の違い ⑧負担を感じずに丁寧に回答できる設問数や選択肢数など、過去に実施した調査と比較 ⑨MA内の選択肢で聴取する場合と、SAで聞く場合で合致率がどれだけ変わるのか
調査手法	Webアンケート
対象者条件	【性別】　男性、女性 【年齢】　20～50代 【地域】　全国 【その他条件】　パソコンまたはスマートフォンでアンケートを回答している
回収数	本調査：816サンプル
割付
調査期間	2021年5月18日（火）～　2021年5月20日（木）
調査機関	株式会社アスマーク（旧マーシュ）

 

上表の割付をご覧いただくと、グループ①～グループ③があることがわかります。これは、グループ①ではAを見せて、グループ②ではBを見せるなどを行い、比較をするために、グループを分けて、以降検証をしております。

 
 

質問文の長さ、文言の強調の有無で、回答結果に違いはあるのか？

はじめに、以下2つの調査課題について検証をしていきます。

1. 質問文が長いと「読み飛ばし」や「意図が伝わらない」可能性が高まるのでは？
2. 意識してほしい文言の強調の有無によって、結果に違いがあるのでは？

 
これらの検証をするにあたり、グループ①～③に似た質問を2回しました。
具体的には、まず全グループにスクリーニング調査^※1の4問目（以下、SC4と呼ぶ）で下図のような質問に回答してもらいました。
※1　スクリーニング調査とは、本調査※2の前に実施する、適切な対象者を絞り込むための事前調査
※2　本調査とは、調査対象者のみに行う調査となります。スクリーニング調査がある場合、その調査の回答で調査対象者と判断できる方が本調査に進みます。

 
続いて、本調査では、SC4をベースに、「選択肢は同一だが、質問文が異なる下表のような内容」に各グループ回答していただきました。

表　グループ①～③ごとの質問内容

グループ	質問内容
グループ①
グループ②
グループ③

 

グループ①（同一※基準）
上表をご覧いただくと、グループ①はSC4の質問を、本調査の2問目としてそのまま提示しています。

グループ②（長文＋強調あり）
続いて、グループ②では本調査の3問目として、SC4の文章の前に「D style webは…」という説明文を加えており、回答者が「D style webに登録してからの期間を回答する必要があるのでは？」と誤認してしまう構成になっています。
つまり言い換えますと、長めの文章にすることで、最後まで読まずに読み飛ばしてしまい、質問の内容を正しく理解しない回答者が発生する恐れがある文章です。

また、「何かしらのアンケートモニターに初めて登録してから、」という文言が青色のフォントで強調をしています。改めてグループ③について後述しますが、グループ③の方を見ると、「何かしらのアンケートモニターに初めて登録してから、」という文言に対して強調する工夫をしておりません。こうすることで、「読んで欲しい文言」に対し、色付きのフォントや太字で視覚的に強調するかどうかで、回答傾向に違いが出るのかどうかを検証します。

グループ③（長文＋強調なし）
グループ③では、グループ②の文章と一緒です。違いは、前述しましたが、強調をしていないことにあります。グループ②とグループ③の回答データを比較することで、回答傾向の違いについて分析します。
 
 

調査結果

調査の結果、下図のようなデータが得られました。

 
上表で注目していただきたいのは、右端の「始めてから10年以上」「わからない・覚えていない」の2つの選択肢におけるスコア（表の右下で赤く破線で囲ったエリア）の違いです。このスコアはSC4との差分を記載しております。

例として、グループ①の「わからない・覚えていない」の選択率について見ていきましょう。SC4での選択率は17.6%であり、Q2での選択率が19.9%なので、その差が-2.3ptといった具合です。
ちなみに、グループ①の「始めてから10年以上」の差は「-」、つまり0ptであり、どちらの選択肢においても、大きな差は見られません。つまり、SC4とQ2の回答の差は無いと考えられます。

 

 

 

FAで理由を聞く場合と、MAで理由を聞く場合で、得られる結果（情報）の違いについて

次に、以下の調査課題について検証をしていきます。
②FAで理由を聞く場合と、MAで理由を聞く場合で、得られる結果（情報）の違いについて

まず、FAとMAについて解説をします。
FAとは、Free Answerの頭文字をとった用語で、自由回答（回答者に入力してもらう形式）であることを指します。
一方、MAは、MultipleAnswerの頭文字をとった用語で、複数回答が可能（回答者に事前に用意した選択肢から複数選べる形式）な質問であることを指します。

つまり、この検証では、「回答者に入力してもらう形式と回答者に選んでもらう形式の違いによって、得られる結果（情報）が違うのか、を検証する」とも言えます。
 
 
FAの質問について
この検証をするため、質問文はほぼ同一なFAとMAの質問をします。
具体的には、Q4で下図のようなFAの質問を用意しました。

 
 
MAの質問について
続いて、Q5で下図のようなMAの質問を用意しました。

 
 

これらQ4とQ5は、グループごとに出し分けており、対応表が下表となります。

表　グループごとのQ4とQ5の出し分け（対応表）

グループ	Q4（FA）	Q5（MA）
グループ①	–	回答
グループ②	–	回答
グループ③	回答	回答

 
上表の通りとなりますが、グループ①と②はQ5のみ、つまりMAの質問のみ回答していただきます。一方で、グループ③はQ4とQ5、つまりFAとMAの質問どちらも回答していただく設計にしました。
このような設計にした理由は、「グループ③がFAを回答したことにより、MAへの回答に影響（バイアス）が出てしまう可能性がある」と考えたためです。もし、影響（バイアス）があると、「FAで理由を聞く場合と、MAで理由を聞く場合で、得られる結果（情報）の違いについて」ストレートに「こういった違いがありました」と言えなくなってしまいます。
そのため、グループ①とグループ②では、MAでの回答しか収集しないようにし、グループ③のような影響（バイアス）が無く聞ける設計にしました。このグループ①とグループ③でMAに関してデータを見比べることで、影響（バイアス）が「あったのか」「なかったのか」がわかります。

 

調査結果

調査の結果、下図のようなデータが得られました。

 

Q4（FA）の回答結果は、「特にない」と答えた人が約3割おりました。また、上表以外のデータからにはなりますが、何かしら回答があった人のうち、約8割が“1つ分”の記述での回答となりました。

続いて、表上部にある棒グラフは、グループ③がFAで記述した内容を、Q5（MA）の選択肢パターンに沿ってアフターコーディング^※3して、該当する割合を示したものです。
『この棒グラフの各割合』と『表下側のグループ①～③のデータ』を見比べると、FAでは挙がってこなかったが、MAだと多くの人が選択する項目があることがわかります。特に顕著な選択肢は、「似たような内容を繰り返し質問される」です。MAでは4割以上がこの選択肢を選んでいるのに対し、FAでは2.9％しか記載がありませんでした。ここで考えられることは、回答者の方で「それほど大きな問題とは感じていなかった」や「気づいていても言語化が難しかった」などです。こういった「選択肢を提示することで選べる」ケースがあり、それは即ち、選択肢を提示したことで情報が引き出せるケースがあるということに他なりません。
※3　アフターコーディングとは、自由記述回答された内容を意味の似通ったカテゴリーごとに分類し、コード化する作業のことを言います。

このような傾向を踏まえると、量的な分析（実態記述や仮説検証など）をする場合、FAで回答を回収し、その回答データでアフターコーディングを行うよりも、仮説を立てた上であらかじめ選択肢を設計し、提示して聞く「選択式回答（プリコード）」の方が望ましいと言えるでしょう。
なお、純粋想起の第一想起を利用するトップオブマインド分析など、FAの聴取を前提とする分析もあるため、調査目的に応じて最適な選択形式を設定する必要があります。

 
 

選択肢が多すぎることによる影響の検証

次は、表題の通りで④の「選択肢が多すぎることによる影響の検証」について紹介していきます。

検証方法は、以下の違いによる選択肢ごとのチェック率を見ていくことで明らかにしていく方法を取ります。

• 選択肢の多い／少ない
• レイアウトの違い

 
 
質問と選択肢の内容について
具体的にグループごとの質問と選択肢を下図に示してみました。

 

質問内容は、ご自宅にある商品や製品、設備を選択していただく、MAの質問としました。
そして、「選択肢の多い／少ない」という部分では、

• グループ①とグループ③の選択肢は多い（選択肢50個）
• グループ②の選択肢は少ない（選択肢21個※上記選択肢50個から絞った選択肢）

という構成で用意しています。
 
 

「レイアウトの違い」では、

• グループ①とグループ③は、選択肢をズラーっと並べたもの
• グループ②は、「空調関係」や「キッチン家電・調理家電」といったカテゴリーごとの見出しを付けつつ並べたもの

という構成で用意し、感覚として、目に留まるポイントをグループ②では用意しました。

これらの違いとグループの対応表をまとめたのが、下表となります。

表　グループの対応表

グループ	選択肢の多い／少ない	レイアウトの違い
グループ①	50個	見出しなし
グループ②	50個	見出しあり
グループ③	21個	見出しなし

 
 

調査結果

調査の結果、下図のようなデータが得られました。

 

検証結果で着目するべき選択肢は、上表で黄緑に色付けた電子レンジと冷蔵庫、洗濯機、ノートパソコンです。これらに着目するのは、保有率が高いと予想することができ、チェック率も高いと予想できるからです。
それでは、「違い」による検証をそれぞれしていきます。
 
 
「選択肢の多い／少ない」の検証
選択肢の多いグループ①と②、そして選択肢の少ないグループ③の選択肢『電子レンジと冷蔵庫、洗濯機、ノートパソコン』の数値を比べてみると、選択肢の少ないグループ③の方がいずれの選択肢のチェック率が高かったです。
特に、選択肢『電子レンジ』のチェック率において、グループ①は67.3%であり、グループ③は81.3%のため、この差は10pt以上あり、たまたま差があったとは考えづらい結果を得られました。

上記から、選択肢の数が多いかと少ないかによって、得られる結果が異なる可能性が高いと言えます。また、この結果になった理由として考えられることは、「選択肢の数が多いことで、注意が分散してしまい、チェック漏れが発生してしまった」ということです。きっと、皆様の中にもご経験がある方がいらっしゃるのではないでしょうか。
選択肢が少ない方がより現実的な数値を得られる可能性があるため、調査設計の段階で、必要最低限の選択肢に絞ることが求められます。
 
 
「レイアウトの違い」の検証
続いて、見出しがないグループ①と③、見出しがあるグループ②の各選択肢のチェック率を確認していきたいところですが、これではいけません。なぜなら、上記で説明した通りグループ③の選択肢はグループ①と②と比べ少ないからです。このことを加味すると、見出しがないグループ①と見出しがあるグループ②で選択肢『電子レンジと冷蔵庫、洗濯機、ノートパソコン』の数値を比べてみると良さそうです。

では、選択肢ごとのチェック率が高いグループに着目すると以下となります。
電子レンジ：グループ②
冷蔵庫：グループ①
洗濯機：グループ②
ノートパソコン：グループ①

これだけだと一見、一貫性がなく「見出しあり／なし」に違いはなさそうです。

ここで、「選択肢の多い／少ない」の結果も加味して考えてみましょう。この理由として「注意が分散してしまった」を挙げましたが、もう少し実際の状況をイメージしてみましょう。アンケート画面がパソコンで表示された時には、最初の画面に選択肢が10個程度、写し出されているでしょう。そして、回答者は質問文を読んで、各選択肢を見て、その内容を理解してきます。そして、11個目、12個目、13個目…と「この製品はある／ない」を判断していきます。50個目までこの思考を繰り返すと考えられますが、ある程度の選択肢数までいくと思考に疲れが出てくると考えることができます。つまり、下の方にある選択肢の方が「注意が分散している」可能性が考えられるのです。

この仮定から、『電子レンジと冷蔵庫、洗濯機、ノートパソコン』が何番目にあるか数えてみると、以下となりました。
電子レンジ：9番目
冷蔵庫：22番目
洗濯機：23番目
ノートパソコン：43番目

さらに、見出しからの選択肢が何番目かも見ていきたいと思いますので、見出しを横に並べて選択肢を並べた図が下図です。

 
つまり、順番は以下となります。
電子レンジ：2番目
冷蔵庫：14番目
洗濯機：1番目
ノートパソコン：1番目

そして、得られた情報をまとめてみると、下表になります。

表　得られた情報をまとめた表

選択肢	チェック率が高いグループ	上から何番目	見出しから何番目
電子レンジ	グループ②	9番目	2番目
冷蔵庫	グループ①	22番目	14番目
洗濯機	グループ②	23番目	1番目
ノートパソコン	グループ①	43番目	1番目

 

ここから、グループ①のチェック率が高いときは、『上から遠そうなときや見出しから遠そうなとき』なことがわかります。一方でグループ②のチェック率が高いときは、『上から近そうなときや見出しから近そうなとき』なことがわかります。
そのため、「見出し」を設置することで、「上の方にある選択肢」かつ「見出しの上の方にある選択肢」であれば、グループ③の数値に近づいていることから、改善が見られたと言えそうです。しかし、そもそも「上から遠い選択肢」や「見出しから遠い選択肢」は「注意が分散してしまう」などの理由から、改善は見られなそうです。
なお、これは『レイアウトの違いにより一部改善は可能そうだが、根本的な解決には、選択肢の数が少ない方が良い』ということを示唆しています。

 

 
 

巨大なマトリクス設問によってどのくらい回答精度の低下がおこるのか

次は、⑤の「巨大なマトリクス設問によってどのくらい回答精度の低下がおこるのか」について紹介していきます。
 
この『巨大なマトリクス設問』は、すでにJMRA（日本マーケティング・リサーチ協会）の以下レポートで「巨大マトリクスは使わない」と示唆がある設問形式なのですが、改めて確認をするため、実証実験をしてみました。
 

“

引用元：インターネット調査品質ガイドライン 第2版　回答環境の変化に合わせて変えていくべきこと、守るべきこと

 
 
弊社では、グループごとに下図のような質問と選択肢を用意しました。
グループ①の質問と選択肢

 
 
グループ②と③の質問と選択肢

 

この項目数と、それぞれ回答に必要なスクロール方向をまとめたのが、下表です。

表　グループごとのマトリクス構造のまとめ

グループ	表側※1	表頭※2	チェックボックス数	スクロールの方向
グループ①	２０項目	５項目×２問	200	基本縦スクロール
グループ②	２０項目	２０項目	400	横と縦スクロール
グループ③	１０項目	２０項目	200	基本横スクロール

※1　表側は、マトリクスの側面にある項目を指します。
※2　表頭は、マトリクスの上部にある項目を指します。
 
この構成にした理由は、「マトリクス設問における回答精度の低下」を明らかにするために、考えられる要因として、以下の2つの違いが考えられたからです。
①チェックボックス数の違い
②スクロール方向の違い

①の「チェックボックス数の違い」は、検証④と類似しており、選択肢数が多ければ、回答精度の低下が発生しそうなことは、お分かりいただけるかと思います。
②の「スクロール方向の違い」は、マトリクス設問特有の視点となります。マトリクス設問以外の選択肢数が複数あるパターンは下にズラーっと選択肢が並ぶのが一般的です。一方、マトリクス設問では、下に並ぶことがあるのは一緒ですが、横にもズラーっと並ぶことがあります。そして、横にもスクロールしなくてはいけないという回答負荷がかかると考えられるため、「スクロール方向の違い」にも、着目していきます。
 
 

調査結果

調査の結果、下図のようなデータが得られました。

 
この表は、各ブランドに対してどのようなイメージが持たれているかを集計した表となり、黄色のセルは、イメージごとにグループ①～③で最もスコア（選択率）が高かったセルとなります。

それでは、こちらも「違い」による検証をそれぞれしていきます。
 
 
チェックボックス数の違い
「『チェックボックス数の違い』が回答精度の低下につながるのか」を明らかにするために、まずは1回の質問でチェックボックスが200個のグループ①とチェックボックスが400個のグループ②を比較していきましょう。

 

その他の項目でも、グループ①のスコアがより高い特徴が見受けられます。
この特徴は、チェックボックスが200個のグループ①とグループ③を比較しても、同様にグループ①のスコアの方が高いです。

一方で、1回の質問でチェックボックスが400個のグループ②とチェックボックスが200個のグループ③を比較してみると、ややグループ③のスコアがより高いように見受けられますが、『確かに差がある』と自信が持てる『大きな差』が出ている項目は少なかったです。
 
 
スクロール方向の違い
続いて、同じデータを「スクロール方向の違い」という観点で比較していきましょう。
スコアだけを見ていくと「チェックボックス数の違い」と類似した話になり、ややこしくなる可能性があるため、ここでは、「チェックボックス数」と「スクロール方向」、「スコア傾向」という指標で、グループごとの掛け合わせの状況を下表で見ていきましょう。

表　チェックボックス数、スクロール方向、高スコア傾向の違い

	グループ①	グループ②
グループ①		チェックボックス数：異なる スクロール方向：横スクロールがより必要 スコア傾向：グループ①の方が高い
グループ②	チェックボックス数：異なる スクロール方向：横スクロールがより必要 スコア傾向：グループ①の方が高い
グループ③	チェックボックス数：同じ スクロール方向：横スクロールがより必要 スコア傾向：グループ①の方が高い	チェックボックス数：異なる スクロール方向：縦スクロールがより必要 スコア傾向：大きな差はあまりない

 

この表から、チェックボックス数が同じでも、「横スクロールがより必要」な場合は、スコア傾向としてグループ①の方が高いことがわかります。
一方で、チェックボックス数が異なっていても、「縦スクロールがより必要」な場合は、スコア傾向に、大きな差はあまり見受けられませんでした。
 
 
結論
以上のことから、「チェックボックス数がより多い」×「横スクロールがより必要」な状況において、選択する割合が少なくなる傾向がありそうなことがわかります。

実際に、チェックボックス数が多いし、横スクロールがいっぱい必要な巨大マトリクス形式を想像してみると、それだけで『疲れ』ますよね。であるならば、実際の回答者は、さらに『疲労感』であったり、『大変』といった感覚を持ったりする可能性があり、『回答負荷』も多いことでしょう。そうなると、注意が散漫になるなど『集中力の低下』が出てきて、結果、『回答精度の低下』が発生しそうです。

そのため、「巨大なマトリクス設問によってどのくらい回答精度の低下がおこるのか」という回答として、今回の調査でチェックボックス数と横スクロールの話が一番関係しているグループ①と②の数値から、最大約17pt回答精度の低下が起きたと考えることができます。なお、あくまで最大値となり、平均値でも中央値でもない点、他の業界や選択肢などの設計で最大値自体が変わる可能性がある点はご注意ください。
 
 
マトリクス設問を使用したい状況でも、調査課題④の結論と類似しますが、必要最低限の項目（選択肢など）にし、回答精度が高いマトリクス設問にするよう、心がけましょう。

 

FAの負担感について（追加入力欄があると、選択肢が選ばれにくくなることの検証）

続いて、⑥「FAの負担感について（追加入力欄があると、選択肢が選ばれにくくなることの検証）」について紹介します。

まず、この検証は、過去に当社で行った定点調査^※から「追加入力欄（FA欄）があると、選択肢が選ばれにくくなるんじゃないか？」という仮説を立てています。過去の調査で、選択肢に追加入力欄を付けた結果、前年と比べてスコアが下がったという結果でした。
この結果を踏まえ、今回、改めてこの仮説を検証していきます。
※　定点調査とは、同一の調査対象に対して、一定期間ごとに同じ質問項目を用いて繰り返し調査を行う手法です。

検証を進めるにあたり、「追加入力欄（FA欄）がある」ということについて掘り下げてみました。すると、その設置位置（例えば、ブランド名に対してFA欄がある、その他に対してFA欄がある）によって、回答者の負担の感じ方が異なる可能性がある、という点に気づいたので、本検証ではFA欄の有無だけでなく、その設置位置の違いによる影響もあわせて確認するため、以下の2つのパターンを用意しました。
① 選択肢「その他」以外にFA欄を追加
② 選択肢「その他」にFA欄を追加
 
 
① 選択肢「その他」以外にFA欄を追加
選択肢「その他」以外にFA欄を追加したパターンでは、下図のような質問を用意しました。

 

Q15はグループ①が、Q16はグループ②に回答していただいたのですが、これらの違いは、選択肢です。
グループ②の方では、「スポーツ観戦」「ファッション」「習い事・語学・資格」の選択肢にFA欄を加えており、それによってチェック率が減少するのか、確認します。
 
 
②　選択肢「その他」にFA欄を追加
選択肢「その他」にFA欄を追加したパターンでは、下図のような質問を用意しました。

 
グループ①、②といった分け方ではなく、始めの方の「調査概要」で軽く紹介させていただきましたが、A群とB群とで、選択肢を変えました。
A群には、「その他」とだけ表示し、B群には「その他」にFA欄を加え、回答していただきました。
 
 

調査結果

はじめに、「選択肢「その他」以外にFA欄を追加」の結果を見ていきましょう。
 
 
① 選択肢「その他」以外にFA欄を追加
調査の結果、下図のようなデータが得られました。

 
緑色で色付けたセルが、FA欄を設置した箇所になります。
この結果のFA欄の影響を見ていきたいので、下表に緑セルの部分を取り出してみました。
 

表　緑セルの部分

グループ	スポーツ観戦	ファッション	習い事・語学・資格
グループ①	22.1	29.0	12.9
グループ②	12.1	7.0	2.2
差分	10.0	22.0	10.7

 
グループ①と比較して、グループ②はいずれも10ポイント以上回答率が低下していることがわかります。
特に、ファッションは、グループ①が29％なのに対して、グループ②は7％と20ポイント以上減少しています。あくまで推察とはなりますが、ファッションのFA欄には、ブランド名を書いていただくことになりますので、そこに心理的なハードルが発生してしまった可能性があるのではないか、と考えます。例えば、「書くのが面倒」であったり、「自分の好きなファッションを伝えるのが嫌」であったり、様々考えられます。
 
続いて、FA欄を設置しなかった項目についても見ていきましょう。
選択肢ごとに差を見ていくと、多少の差はありますが、顕著な差はありませんでした。
そのため、グループ①とグループ②で「興味関心が異なる」などの、FA欄以外による影響は考えにくく、FA欄の設置有無による影響があったと考えられます。
 
 
②　選択肢「その他」にFA欄を追加
選択肢「その他」にFA欄を追加の結果も下図から確認をしていきましょう。

 

こちらも比較するセルを緑色で塗っています。
緑色の列を見ていくと、A群は14.2%となり、「その他」にFA欄を加えたB群は5.6%と、約9ポイント減少した結果となりました。
そして、こちらもFA欄を加えていない選択肢の差はあまりなく、FA欄の設置有無による影響があったと考えられます。
 
 

結論

2パターンの調査の結果から、設置位置の違いに関係なく、FA欄があることで、該当の選択肢そのもののチェックを避けること（減少すること）が分かりました。そのため、FA欄設置は、回答行動に影響を及ぼす要因になっている可能性があることを示唆しているでしょう。

減少した経緯として考えられるのは、FA欄があることで、つまり自由記述を求めることで、回答者に、「書くのが面倒」などの負担を発生させてしまった（バイアスが発生した）ということです。

もし、追加情報を収集したい調査を行う場合には、選択肢の中にFA欄を組み込むのではなく、画面を切り替えて別設問として自由記述を設ける設計が望ましいと考えます。
回答者の負担を抑えつつ、調査目的に沿った情報を得るためにも、FA欄の設置する箇所には慎重に判断しましょう。

 
 

マトリクス形式、MA、同じことを尋ねた場合に得られる結果の違い

続いて、⑦「マトリクス形式、MA、同じことを尋ねた場合に得られる結果の違い」について紹介します。

この違いについて検証していくため、グループ③に下図のようなマトリクス形式で回答いただく質問を用意しました。

 

この左の項目は、前章でグループ①②に質問した選択肢の「その他」と「あてはまるものはない」以外一緒となっております。質問文もほぼ一緒であり、マトリクス形式用に少し変化させており、選択肢は5段階評価「とても関心がある～まったく関心がない」としました。

こうすることで、グループ①と②には前章のとおりMAでの回答、グループ③はマトリクス形式の回答となり、この差を見ることで、違いを見ていきます。

グループごとの違い

グループ	回答形式
グループ①	Q15　MA
グループ②	Q16　MA（FA欄あり）
グループ③	Q17　マトリクス形式（５段階評価）

 
 

調査結果

調査の結果、下図のようなデータが得られました。

 
まず、この表の左の項目から説明します。
左の項目は、グループ①、グループ②、グループ③：TOPBOX、グループ③：TOP2とありますが、それぞれの意味は下表となります。

表　左の項目説明

左の項目	意味
グループ①	チェック率（選択率）
グループ②	チェック率（選択率）
グループ③：TOPBOX	「とても関心がある」のチェック率（選択率）
グループ③：TOP2	「とても関心がある」と「やや関心がある」のチェック率（選択率）

 
 
次に調査結果を見ていきましょう。
ここで注目したいのは、下側にある「③TOPBOXと①②平均との差分」と「③TOP2と①②平均との差分」の赤～青のグラデーションで表現している表部分です。もう少しわかりやすいように下表のようにまとめました。

表　差分

差分	③TOPBOXと①②平均との差分	③TOP2と①②平均との差分
+10ポイント以上	0	23
+5ポイント以上	0	23
-5ポイント以下	11	0
-10ポイント以下	6	0

 
今回の趣味や興味の項目（旅行や映画・音楽鑑賞など）は、全部で23個用意しておりますので、「③TOPBOXと①②平均との差分」は、-5ポイント以上が半分ほど占めることがわかります。
「③TOP2と①②平均との差分」は、全ての項目で+10ポイントを上回っており③TOP2は、①②平均と違うことがハッキリわかります。

この差から見えてくるのは、「とても関心がある」では、MA形式のチェック率と五分五分くらいであり、「やや関心がある」が加わると一気に選択率が高くなるということがわかります。
つまり、MA形式でチェックした人（グループ①②）に、「とても関心がある」人だけではない可能性がありますが、「やや関心がある」人がたくさんいるかというと、そんなにはいない可能性があるということです。
 
 
もう一点下側の表で見ておきたいところがあります。
それは、「③TOPBOXと①②平均との差分」では、あまり差は見られない（差が5ポイント未満）けど、「③TOP2と①②平均との差分」で大きく選択率が増えた（30ポイント以上増えた）項目があります。
それが、以下3つです。

• くつろぎ・リラックス
• 健康
• 新商品・新製品

 
こういった項目は、5段階評価だと「やや関心がある」という選択肢を選びがちなのかもしれません。
 
 
以上のことから、マトリクス形式とMAでは違う結果が得られることがわかります。
そして、どちらが望ましいかは、調査目的によって異なりますので適宜判断が必要です。
例えば、ストレートに強弱を知る必要がある場合は、マトリクス形式が望ましいでしょう。一方で、きっぱりYesかNoかを知りたいときにはMAが適任だと考えます。
なお、マトリクス形式の場合、分析の多様性という視点で考えると、5段階評価の方が対応できる範囲は広いでしょう。ただ、ここまで検証してきた通りで、マトリクス形式の設計の仕方によっては、回答負担が大きくなり、調査の質自体を下げてしまう可能性もあるため、慎重に回答形式や項目、選択肢を決める必要があります。

 
 

負担を感じずに丁寧に回答できる設問数や選択肢数など、過去に実施した調査と比較

⑧「負担を感じずに丁寧に回答できる設問数や選択肢数など、過去に実施した調査と比較」を紹介していきます。

この検証では、回答者が「負担を感じずに丁寧に回答できる」と感じる設問数や選択肢数、回答時間について問う、以下の設問を用意しました。

 
また、群ごとにこの設問の配置箇所を下表のように変えました。

表　設問の配置箇所

群	設問の位置
A群	Q７～Q９(前半)で回答
B群	Q１９～Q２１(後半)で回答

 
こうすることで、2014年に実施した下図条件の調査結果との比較を行うとともに、設問の位置による回答傾向の違いについて検証をしていきます。
 

※　今回の調査では、たとえば20～30代×グループ②×PC17人といった形となる割付となりますが、上図の通り2014年の割付は各性年代ごと50人となります。
 
 

調査結果

調査の結果、下図のようなデータが得られました。

 
まず、質問数と回答時間について見ていきましょう。
わかりやすくするため、カンタンに下表にまとめました。
 

表　負担を感じずに丁寧に回答できる質問数

	平均	中央値
A群：全体	13.5	10.0
B群：全体	15.6	10.0
2014年調査：全体	16.0	10.0

 

表　負担を感じずに丁寧に回答できる回答時間

	平均	中央値
A群：全体	6.9	5.0
B群：全体	8.2	5.0
2014年調査：全体	8.1	5.0

 

この表から、A群（前半設問）よりもB群（後半設問）の方が、質問数と回答時間の平均値がやや高いことがわかります。
前提として、A群とB群ともに過去の回答経験や感覚値で答えていただいている部分があると思いますが、その他の違いは配置位置です。A群はQ7～Q9という前半部分で回答しており、その感覚で答えた結果ではないかと推測します。一方で、B群はQ19～Q21という後半部分で回答しており、A群と比べ10問程度多く回答した上で質問数と回答時間に回答していただいております。こうしたそれぞれの背景の違いが回答結果に影響していると考えており、B群の方がよりリアルな数値な気がします。

また、2014年調査と比較すると、大きな変化はありませんが、変化は以下となります。
質問数　：A群・B群ともに少し減少
回答時間：A群はやや減少し、B群は僅か(わずか)に上昇
この変化から、以前よりも短い調査を望む人が少し増えている可能性があります。
 
 
続いて、階級※ごとに見ていくため、重要な部分を以下ピックしました。
※　階級とは、度数（階級という区間で区切ったときのデータ数）を集計するための区間を表します。

表　負担を感じずに丁寧に回答できる質問数

	5問以内	6～10問	11～15問	16～20問
A群：全体	19.9	40.9	10.0	19.4
B群：全体	11.3	39.5	11.8	22.3
2014年調査：全体	13.1	39.0	11.5	20.6

 

表　負担を感じずに丁寧に回答できる回答時間

	3分以内	4～5分	6～10分
A群：全体	27.2	35.8	28.9
B群：全体	21.8	35.5	27.7
2014年調査：全体	20.8	34.6	38.3

 
これを見ると、5問以内と3分以内で、B群がA群と比べ、回答割合が少ないことがわかります。これについても前述と同じようなことが言えると考えており、やはりB群の方がよりリアルな数値な気がします。

また、B群を起点にして、「負担を感じずに丁寧」に回答できる質問数は、16～20問以内で8割を超え、少なくともこの辺に抑えた方が良さそうです。
回答時間は、6～10分以内で8割を超えるため、10分以内には抑えるべきでしょう。

最後にここまで触れてきませんでしたが、「負担を感じずに丁寧」に回答できる選択肢数は、6～10個以内で8割を超えるため、10個以内が理想と言いたいのですが、現実問題、選択肢が10個を超えることがあるでしょう。そのため、「10個以内が良いのかな？」というのを頭に置きつつ、少なくとも20個を超えない範囲で選択肢を用意するのが望ましいでしょう。
 

今回のアンケートに関する負担具合

ここからは、調査課題⑧の調査結果の解釈として、Q23「今回のアンケートは負担を感じずに回答できたと思いますか？」の下図の結果を見ていきます。
 

 
右側に「負担を感じずに回答できた　+　どちらかといえば負担を感じずに回答できた」の合計値を「負担　感じない計」として集計しており、約７割が今回のアンケート（15問程度）で負担を感じずに回答できたと回答していることがわかります。

また、グループ②が他のグループと比べると低いことがわかり、グループ①とは約8pt、グループ③とは約12ptと低いです。特に、「回答デバイス×グループ」で見てみると、グループ②はスマホで低いことがわかります。
グループ②では、Q12で20項目×20項目の巨大マトリクスに回答していただいており、この巨大マトリクスの回答が影響していると解釈しました。
やはり、スマホでのスクロールの発生は、回答負担になると考えておりますので、その影響が結果として現れたのかな、と考えています。

グループ③は、他のグループと比べ、「負担　感じない計」が高い項目が多かったです。
グループ③でもQ17の設問で23項目をマトリクス形式（5点尺度）で回答していただいているので、「負担」が発生しそうだと考えますが、グループ②と比べると、そうでもなかったのかもしれません。
グループ③とグループ②の巨大マトリクスの違いは、設問の内容や選択形式などとなるため、一概には言えませんが、「趣味や興味」などでは答えやすかったり、選択形式が5点尺度という1つを選ぶ形式のため選びやすかったり、したのかもしれません。

 
 

MA内の選択肢で聴取する場合と、SAで聞く場合で合致率がどれだけ変わるのか

続いて、⑨「MA内の選択肢で聴取する場合と、SA※で聞く場合で合致率がどれだけ変わるのか」について紹介します。
※　SA（Single Answer：単一回答）とは、参加者に与えられた複数の選択肢から1つの回答を選択させる方法です。
 
合致率の変化について検証していくために、下図のような設問を用意しました。

 

Q11は検証④でもご紹介しましたが、MA（複数回答形式）の設問となり、グループ①～③は下表のように異なりましたね。
 

表　グループ①～③

グループ	選択肢の多い／少ない	レイアウトの違い
グループ①	50個	見出しなし
グループ②	50個	見出しあり
グループ③	21個	見出しなし

 
また、Q18はQ11の選択肢の１つ「自動食器洗い機」についてSAで「ある/ない」を問う設問となります。

これらによって、「選択肢数の多い／少ない」や「レイアウトの違い（見出しのあり／なし）」による合致率の影響を見ていきます。
 
 

調査結果

調査の結果、下図のようなデータが得られました。

 

Q18（SA）の結果は、自宅に自動食器洗い機が「ある」と答えた方は全体で約28％でした。
一方、Q10 / Q11（MA）の結果は、グループ別で約18％〜24％と、2割前後にとどまりました。

そして、検証テーマの合致率は？　というと、下図の結果となりました。

 
最も一致率が高かったのは、MAの選択肢数が少ないパターンを使ったグループ③の約94%でした。
また、MAとSAでの回答のズレはどのグループも1割弱にとどまり、大きな差は見られませんので、このズレが「見落としによるものなのか？」はわかりません。そのため、回答して欲しい方を絞り込むための設問の仕方として、MAが良いのか？　SAが良いのか？　一概には言えません。

今回これらの設問から得られた結論は、「どのグループも1割弱の不一致がある」こととなります。

 
 

その他の分析

本章では、調査課題とは他に分析しているものなどがありますので、そちらを紹介します。

具体的には、次の３つを紹介します。
①スマホ／PCでの見え方の違い
②回答者が負担と感じる内容とその変化
③タミー項目を用いた回答精度の確認
 

① スマホ／PCでの見え方の違い　

１つ目のスマホ／PCでの見え方の違いですが、まずスマホとPCの見え方をご覧いただいた方が早いと思いますので、下図をご覧ください。

 
同一の設問（質問文や選択肢が同じ）となり、左がスマホ、右がPCの回答画面のイメージとなります。

スマホは縦長な表示となり、表側の項目が折り返されています。
一方で、PCでは、スマホと比べると画面が大きいので、横幅に余裕があり、見え方に違いがあるのが分かります。
こういった違いがあることをイメージしていただいたうえで、マトリクス形式や選択肢の内容をご検討いただく必要があります。
 

② 回答者が「正しく回答できない」負担と感じる内容とその変化

下図は、Q5「下記の中から、あなたがアンケートに「正しく回答できない」と負担を感じる内容をいくつでもお選びください。」の結果を回答デバイス別に分けた図です。

 
最も選択率が高いのは、「似たような内容を何回も繰り返し質問される」で、全体で4割を超えています。次いで「質問数が多い」、「質問が長すぎる」が続きます。

これらの内「質問が長すぎる」と「回答に時間がかかる」は、「今回-前回（PC）」の数値（表の下の方で赤色の点線で囲った部分）を見ていただくと、どちらも減少していることが分かります。業界の取り組みとして「調査ボリュームを減らしましょう」といった啓蒙活動をしているので、そういったところからこの結果につながっているのではないかと、考えます。
 

③ ダミー項目による回答精度の確認

「ダミー項目を入れてしっかり回答しているか調べよう」といったことを見たり、聞いたりしたことがあるかもしれないのですが、Q6の選択肢に「ここでは一番右側の選択肢※をお選びください」を入れて、その指示にどれだけ従っていただけるのかを聴取しました。
※　一番右側の選択肢は「あてはまらない」といった選択肢です。
一方で、左側の選択肢は「あてはまる」や「ややあてはまる」といった選択肢になります。
その聴取結果として、下図はTOP2（「あてはまる」+「ややあてはまる」）のスコアを掲載した表と棒グラフです。

　

 
一番右側の選択肢を選べという指示があるにも関わらず、4.4％が左側の選択肢（あてはまる・ややあてはまる）を選んでいました。
また、表の下側にある「アンケート回答時間」の「3分未満」を見ると、２割以上がTOP2に該当する選択肢を選んでいることが分かります。そのため、回答時間が短い人は文章をよく読まずに、ストレート回答などを行っている可能性があると考えられます。
 

続いて、「じゃあどのくらいの人が正答したの？」というのも見ていきましょう。
下図は、「ダミー項目に正しく回答できた割合」を「回答デバイス×性年代」や「アンケート回答時間」で分けた図になります。

 
全体の正答率は約８割あり、約２割の人が指示通りに回答できませんでした。
また、繰り返しになりますが、回答時間が「15分以上」を除いて、徐々に正答率が上がっています。
加えて、10分以上、15分以上時間をかけている人でも、一定の誤答が発生しているので、こういった誤答は「ちゃんと回答していない」といった問題だけではないということが、ここから見えてきます。

 
以上のことから、データチェックはやはり大切であることが言えます。
また、“読んでもらえる設計”にすることも大切です。具体的には、文字量を減らすといった工夫です。そういった工夫をしていくことで、回答精度を高めることにつながっていくでしょう。

 
 

まとめ

本コラムでは、アンケートに回答する際にモニターが感じる“回答負荷”によって、調査結果がどの程度変わるのかを、複数の実験調査をもとに解説してきました。
それらの主な示唆は下表となります。

表　主な示唆

示唆	解説
質問文は必要最低限の内容を含めた簡潔な文章にする	質問文が長くなることで、誤解や読み飛ばしを誘発し、“なんとなく”で回答されるリスクが考えられるため、必要最低限の内容を含めた簡潔な文章にすることが望ましいでしょう。
「読んで欲しい文言」に対して、色などで強調することを検討する	「読んで欲しい文言」に対し、色などで強調することで、質問の意図がより正確に伝わりやすくなり、誤解を減らす効果がありそうです。そのため、文章がどうしても長くなってしまう場合などでは、「読んで欲しい文言」に色などで強調することを検討しましょう。
量的な分析をする場合、MAを検討する	FAとMAは、それぞれの良さがあります。例えば、FAでは挙がらないが、MAだと多くの人が選択する項目があったりします。つまり、選択肢を提示したことで情報が引き出せるケースがあるということです。そのため、量的な分析（実態記述や仮説検証など）をする場合は、MAを検討しましょう。
最低限の選択肢に絞る	選択肢が多いほど、注意が分散し、見落とし（チェック漏れ）が起きてしまう可能性があります。そのため、必要最低限の選択肢に絞りましょう。
選択肢が多くなってしまう場合、見落とし対策を検討する	必要最低限に選択肢を絞っても多くなってしまうケースがあるかと思います。そういったケースでは、見出しを設置するなどで探しやすくし、回答者の負担を下げる工夫を検討しましょう。
巨大なマトリクス設問は避ける	縦や横に大きいマトリクス設問は、縦や横にスクロールをする必要性が出てきてしまい、回答負荷が高くなる可能性があります。そして、回答負荷が高くなると、読み落としや集中力の低下など、回答精度の低下につながってしまうかもしれません。そのため、必要最低限の項目にするよう心がけましょう。
FA欄による追加情報を収集したい場合は、別途それ専用の設問を用意する	追加入力欄（FA欄）付きの選択肢は、「書く手間」を感じさせ、その選択肢自体が選ばれにくくなる可能性があります。FA欄で追加情報も収集したい場合は、別途設問を用意し尋ねるようにしましょう。
マトリクス形式とMAは、調査目的に合わせて使い分ける	マトリクス形式とMAでは、違う結果となる可能性があります。 どちらが望ましいかは調査目的によって異なりますので、適宜判断しましょう。 例えば、ストレートに強弱を知る必要がある場合は、マトリクス形式が望ましいでしょう。一方で、きっぱりYesかNoかを知りたいときにはMAが適任でしょう。
質問数・選択肢数・回答時間は、回答者の負担を考慮し調整する	【質問数】16～20問以内にしましょう。 【選択肢数】10個以内が理想です。もし超える場合は20個を超えない範囲で用意するのが望ましいです。 【回答時間】10分以内に抑えましょう。

 
これらの示唆より、アンケートの品質向上には、回答者の視点に立った設問設計が必要であることがわかります。

本コラムを参考に、アンケートに回答する際にモニターが感じる“回答負荷”を軽減し、より回答精度を上げられる設問設計にしていきましょう。

ネットリサーチ（WEBアンケート）についてのご相談はこちら＞

 

アスマークの編集ポリシー
 

関連コンテンツ