サーベイ設計法──調査の裏側

背景：去年の調査以降「サーベイやアンケートってどう作るの？」「調査設計にアドバイスが欲しい」と聞かれるようになる

-> 現在のスタートアップ環境調査2025でも参考にした、設計ポイントが書かれてある論文紹介（Stantcheva, 2023, Annual Review of Economics )

1. サーベイの価値とは？

社会や経済、政治を動かす重要な要因は「人々の認識」「信念」「態度」だが、目には見えない。

単に行動を見るだけではわからないことがある。

そこで、目に見えない要素に光を当ててデータを分析し「見えないものを見える状態にする」のがサーベイの価値

2. まずは「何を知りたいのか？」を問う

サーベイを行う時に、いきなり質問作りから始めない

まず、研究上の問いを明確にし、「何を知りたいのか？」「何を明らかにしたいのか？」を考える

サーベイはあくまでツール。目的を意識しながら一貫した設計を行う

3. 誰にどう聞くのか？

設計における最初の重要な質問「誰にどう聞くのか？」

考えるべきポイント：
- 目的に合う回答は、どんな人たちから得られるか？
- どのようなチャネルで調査をするとよいか？
- 理論的に重要な変数について、意図的に多様な人々を含めるにはどうすればいいか？

4. 調査で発生する主要エラー3つ

1️⃣ カバレッジ・エラー：サンプル・フレームから対象者が漏れている or 対象者以外も入っている

2️⃣ サンプリング・エラー：調査対象者の全体的な統計的特徴が、母集団のものと偶然ずれる

3️⃣ 無回答エラー：調査したい内容について回答者と非回答者の間に差がある

5. 各エラーを減らす方法

1️⃣ Web調査だけでなく、郵送など複数の方法で調査する

2️⃣ 母集団を明確にする。調査対象者への呼びかけを多様な方法で実施。大規模なランダム・サンプリングを行う

3️⃣参加者が回答しやすい調査デザインを採用する。非回答者に対するフォローアップを行う

6. オンライン調査の特徴

メリット
- 好きな時間に好きな場所で回答できる。スマートフォンがあればその場で参加可能
- デジタル・ギフトなどインセンティブ提供が容易

デメリット
- オンライン調査にアクセスできない人は原理的に対象外
- 特定の層に回答が偏る傾向あり

7. 参加を呼びかける際のコツ

1️⃣ランディング・ページが調査の印象を形成。重要な情報をわかりやすく開示する。

2️⃣ただし、詳細な研究意図を開示すると、参加者の回答内容に影響を与えるリスクが高まるため、調査全体の信頼性や透明性とバランスをとる

3️⃣ 招待メール: 相手にあわせてパーソナライズし、ランディング・ページの内容をわかりやすく盛り込む

4️⃣ リマインダー: 計画的に複数回送ることで、調査への参加を促す

5️⃣ インセンティブ設計: 必要に応じて適切な報酬を設定し、確実に届けられる提供方法を確保する

8. 調査のモニタリング

i) 調査開始前：小規模で実施
サーベイ・フローの不具合やページの表示問題など、技術的な問題を特定し修正する

ii) 調査中：問題発見と修正
特定の質問で回答者の離脱が多発していないか？
技術的な問題はないか？
特定の質問がわかりづらく誤解が発生していないか？

9. 回答バイアスとは？どう減らす？

1️⃣ 基礎的バイアス
- 1〜5で3を選ぶ：中間
- 最も肯定的 / 否定的なものを選ぶ：極端
- 選択肢の順番で選ぶ：順序（書面は最初、口頭は最後の傾向）

-> 項目デザインや統計処理でバイアスを減らす。選択肢のランダム化も時に有効（回答者の混乱に注意）

2️⃣ 質問順序効果
ある質問が、続く質問の回答に影響を与える現象。例えば、前の質問で特定の考えが活性化されるプライミングや、前の質問の基準が次の質問の基準に影響するアンカリングなど。

-> 設計段階で順序を慎重に検討する。影響を与えそうな場合、次のページに設定するなど視覚的に分離する

3️⃣ 社会的望ましさバイアス
他者に好ましい印象やイメージを与えようとする傾向のこと。

対面や電話に比べると、オンラインでは軽減されやすく、
- 調査主体が誰か
- 匿名性が担保されているか
- 回答がどう使われるか
などでも変わる。

-> 完全匿名の保証や、機密性の高い質問の数を減らすなどで対応

4️⃣ 黙従バイアス
質問内容に限らず、「はい」「正しい」など、肯定的な回答を選択する傾向のこと。

-> 曖昧・複雑な質問を避ける。単純な賛成 / 反対の二択質問をさける。重要な質問では、否定形と肯定形の両方を用意する。

5️⃣ 実験者需要効果
調査している人の期待や意図を回答者が推測し、それに沿うように回答してしまう現象。

-> 匿名性の担保。正確な回答を促すインセンティブを設計。調査目的をわかりにくくする（ただし透明性とのバランス注意）。中立的なデザインを心がける。調査者の意図を質問し明示的に計測する

まとめ

サーベイは「見えないもの」を捉えるための能動的な研究プロセス。

発生するエラー / バイアス、設計方法によって付随する課題に対して常に意識を向ける。

そして、可能性を最大限に引き出すため、絶えず調整・修正を行って調査の質を高め続ける

Reference: Stantcheva, S. (2023). How to Run Surveys: A Guide to Creating Your Own Identifying Variation and Revealing the Invisible. Annual Review of Economics, 15(1), 205-234. doi:10.1146/annurev-economics-091622-010157

---

なお、上記ポイントを踏まえて設計した「国内スタートアップ環境調査2025」は、国内スタートアップ環境がより発展するための知見を広く収集中

ネットワーク形成など「自分の行動を振り返るきっかけになった」との声も頂いています。

▼ 回答・シェア大歓迎
https://ssd.az1.qualtrics.com/jfe/form/SV_a3Ld0MCsTBwncAS