はじめに
「男性のほうが女性より平均年収が30万円高い」 「A群の幸福度はB群より2ポイント高い」 「この新薬を飲んだ人の回復率は、飲まない人より10%高い」
──こうした「差」を見たとき、私たちはふつう「ああ、差があるのか」と受け取ります。 ですが、ここでもう一歩立ち止まる必要があります。
その差は、本当の差なのか？ それとも、たまたまそう見えただけなのか？
この問いに答えるための統計学の方法が、今回取り上げる統計的検定（statistical test）です。
1. 統計的検定とは何か
統計的検定は、ひとことでいえば、
標本調査で得られた結論が、標本抽出による誤差を考慮しても、母集団について妥当であるかどうかを統計的に確かめる方法。
を指します（吉岡のノートより）。
調査は、ふつう母集団全体ではなく、その一部の標本に対して行います。 標本から得たデータには、標本誤差（→ #32）が必ず含まれます。 だから、標本に見えた差や関連が、母集団でも同じように成り立つかどうかは、自明ではありません。
統計的検定は、この標本誤差を考慮したうえで、「母集団においても差や関連がある」と言ってよいかどうかを判定する手続きです。
2. さまざまな検定
統計的検定には、いろいろな種類があります。 代表的なものを挙げると、
- 比率の差の検定：たとえば、男性のA党支持率と女性のA党支持率に、本当に差があるかを確かめる
- 平均値の差の検定：男性の平均年収と女性の平均年収に、本当に差があるかを確かめる
- 2変数間の関連性の検定（カイ二乗検定など）：性別と政党支持のあいだに、本当に関連があるかを確かめる
- 相関係数の検定：年収と幸福度のあいだに、本当に相関があるかを確かめる
調べたい問いの形に応じて、適切な検定を選びます。
3. 検定の基本ロジック ──「偶然の確率」を計算する
統計的検定の基本ロジックは、ひとことで言うと、
標本に見られる差や関連が、標本誤差によって偶然生じている確率を計算すること。
です。 この確率のことを、p値（probability value）と呼びます。
判定の基準は、シンプルです。
- p値が小さい（=偶然の確率が低い）→ 母集団そのものに、差や関連があると判断する
- p値が大きい（=偶然の確率が高い）→ 母集団そのものには差や関連がなく、標本に見られた差は単なる標本誤差と判断する
慣習的に、p値が0.05（5%）以下なら「統計的に有意な差がある」と判断することが多いです。 これは「偶然でこの差が出る確率は5%以下」という意味で、決して「絶対に正しい」というわけではありません。
4. 「有意差がある」と「実質的に大きい差がある」は別
ここで、社会学的に大事な注意点があります。
統計的検定で「有意差がある」と出ても、その差が実質的に大きい差かどうかは、また別の話です。
たとえば、サンプル数が極端に多い調査では、ごくわずかな差でも「統計的に有意」と判定されることがあります。 ですが、その差が0.1%程度なら、社会的な意味づけとしては「ほぼ違いがない」と言ったほうが妥当な場面もある。
統計的検定の結果は、「差があるかないかの判定」であって、「その差の意味の大きさの判定」ではありません。 だから、検定の結果を見るときには、効果の大きさ（effect size）も併せて考えることが大切です。
これは、社会調査の結果を読むときの、地味だけれど重要なリテラシーです。
5. 検定が前提とする「無作為抽出」
統計的検定は、もうひとつの大事な前提を持っています。 それは、データが無作為抽出（→ #32）によって得られていることです。
無作為抽出でないデータに統計的検定を適用しても、出てきたp値の意味づけは大きく揺らぎます。 「X（旧Twitter）で集めたアンケート」「特定のメーリングリストでの調査」のように、回答者が偏っているデータに対して、検定だけを機械的に適用するのは、危ういのです。
ですから、検定の結果を見るときには、
- どんなサンプルか
- どう抽出されたか
- 何を測っているのか
──を必ずセットで確認する必要があります。
6. インタビュー研究と、統計的検定の発想
TSIR のインタビュー研究では、統計的検定を直接使うことはありません。 ですが、検定の精神 ──「目の前の現象が、たまたまなのか、構造的なのか」を慎重に区別する姿勢──は、質的研究にもそのまま当てはまります。
- インタビューで強く語られた言葉が、その人独自の偶発的な表現なのか、語りに繰り返し現れるパターンなのか
- ある経験が、語り手ひとりの特殊なケースなのか、ある層に共通する経験なのか
- インタビュアーが「面白い」と感じた瞬間が、本当に面白いのか、自分のバイアスなのか
質的研究でも、こうした「偶然と構造の切り分け」を、常に意識する必要があります。 統計的検定は数式の話に見えますが、その底にあるのは、研究者がもつべき慎重さの作法そのものです。
結び
統計的検定は、社会調査の世界で「差があるかないか」を判定するための、定番の道具です。
ですが、「有意差がある」と聞いたときに、
- p値の小ささだけでなく、効果の大きさも見る
- どんなサンプルから得た結果かを確認する
- 統計的有意性と社会的意味づけを混同しない
──こうしたリテラシーを持っていると、世のなかの「数字」の読み方が格段に変わってきます。
数字は、それ自体では何も語りません。 語らせ方を、こちらが鍛えていく作業──それが、統計的検定との付き合い方だと思います。
参考資料
- 吉岡詩織の社会学用語ノート「統計的検定」
- 関連：有意抽出法と無作為抽出法（#32）、操作化・概念化（#31）
【執筆：吉岡詩織 / 編集：qbc（栗林康弘）】
