データの要約：代表値と散らばり

データが何十個、何百個と並んでいても、そのままでは特徴がつかめません。 そこで、データを少数の数値に要約します。

要約には大きく2種類あります。 データの中心がどこにあるかを表す代表値と、 中心のまわりにどれだけ散らばっているかを表す散らばりの指標です。 統計検定2級のほぼすべての分野は、この2つの考え方の上に組み立てられています。

代表値：平均値・中央値・最頻値

$n$ 個のデータ $x_1, x_2, \ldots, x_n$ があるとします。

$$\bar{x} = \frac{1}{n}\sum_{i=1}^{n} x_i = \frac{x_1 + x_2 + \cdots + x_n}{n}$$

• 中央値（メジアン） … データを小さい順に並べたとき、ちょうど真ん中にくる値。 $n$ が偶数なら、真ん中の2つの平均をとる
• 最頻値（モード） … 最も多く現れる値。度数分布表では、度数が最大の階級の階級値

平均値は「全員の値を合計して均等に分け直したら1人あたりいくつか」という量です。 中央値は「上から数えても下から数えても半分の位置」、 最頻値は「いちばんよくある値」です。3つは測っているものが違います。

平均値と中央値がずれるとき

5人の年収（万円）が次のとおりだったとします。

$$300,\quad 350,\quad 400,\quad 450,\quad 3000$$ $$\bar{x} = \frac{300 + 350 + 400 + 450 + 3000}{5} = \frac{4500}{5} = 900$$

中央値は3番目の $400$ です。

平均値 $900$ は、図 1 のように5人のうち4人の年収を上回っています。 1人の極端に大きな値（外れ値）が合計を押し上げたからです。 一方、中央値は「真ん中が何か」しか見ないので、最大値が $3000$ でも $30000$ でも $400$ のままです。

散らばり：偏差・分散・標準偏差

平均値が同じでも、散らばり方がまったく違うデータはいくらでもあります。

$$\text{A}:\ 49,\ 50,\ 51 \qquad\qquad \text{B}:\ 0,\ 50,\ 100$$

どちらも平均は $50$ ですが、図 3 のように B のほうがはるかに散らばっています。 これを1つの数値で表したい。

偏差の和は必ず 0

各データが平均からどれだけ離れているかを偏差と呼びます。

$$x_i - \bar{x}$$

素朴に考えると「偏差の平均」で散らばりを測れそうですが、これはうまくいきません。 偏差の和は、どんなデータでも必ず 0 になるからです。

$$\sum_{i=1}^{n}(x_i - \bar{x}) = \sum_{i=1}^{n} x_i - \sum_{i=1}^{n}\bar{x} = n\bar{x} - n\bar{x} = 0$$

1行目から2行目では、$\sum x_i = n\bar{x}$（平均の定義を $n$ 倍しただけ）と、 定数 $\bar{x}$ を $n$ 回足すと $n\bar{x}$ になることを使いました。

図 4 の左は、このあと電卓の例でも使うデータ $4,\ 7,\ 8,\ 10,\ 11$（平均 $8$）の偏差を棒で描いたものです。 平均より下の棒の長さの合計と、上の棒の長さの合計が、どちらも $5$ でちょうど釣り合っています。

偏差を2乗する

符号を消す方法は、絶対値をとるか2乗するかです。 統計では主に2乗を使います。

$$s^2 = \frac{1}{n}\sum_{i=1}^{n}(x_i - \bar{x})^2, \qquad s = \sqrt{s^2}$$

$s^2$ を分散、その正の平方根 $s$ を標準偏差と呼びます。 図 4 の右のように偏差の2乗を正方形の面積と見ると、分散は正方形の面積の平均で、 標準偏差はその平均の面積をもつ正方形の1辺の長さです。

先の例で確かめます。A は偏差が $-1, 0, 1$ なので $s^2 = (1 + 0 + 1)/3 = 2/3$、 B は偏差が $-50, 0, 50$ なので $s^2 = (2500 + 0 + 2500)/3 = 5000/3$。 B の散らばりが大きいことが数値に出ました。

絶対値ではなく2乗を使う理由は、2乗のほうが計算で扱いやすいからです。 展開や微分ができ、このあと示す「電卓用の式」や、後の章の回帰分析・推定の理論がすべて 2乗の性質の上に成り立ちます。 その中でも基本になる性質を1つ導いておきます。

任意の数 $a$ について、$x_i - a = (x_i - \bar{x}) + (\bar{x} - a)$ と分けて2乗し、足し合わせます。

$$\sum_{i=1}^{n}(x_i - a)^2 = \sum_{i=1}^{n}(x_i - \bar{x})^2 + 2(\bar{x} - a)\sum_{i=1}^{n}(x_i - \bar{x}) + n(\bar{x} - a)^2$$

真ん中の項は、偏差の和が $0$ なので消えます。したがって

$$\sum_{i=1}^{n}(x_i - a)^2 = \sum_{i=1}^{n}(x_i - \bar{x})^2 + n(\bar{x} - a)^2$$

右辺第2項は $0$ 以上で、$a = \bar{x}$ のときだけ $0$ になります。

分散を速く計算する式

定義どおりに分散を計算すると、全データの偏差を1つずつ求める必要があり、 平均が $12.37$ のような半端な数だと電卓でも大変です。 そこで、定義式を展開して別の形にします。

$$\frac{1}{n}\sum_{i=1}^{n}(x_i - \bar{x})^2 = \frac{1}{n}\sum_{i=1}^{n}\left(x_i^2 - 2\bar{x}\,x_i + \bar{x}^2\right) = \frac{1}{n}\sum_{i=1}^{n}x_i^2 - 2\bar{x}\cdot\frac{1}{n}\sum_{i=1}^{n}x_i + \bar{x}^2$$

真ん中の $\frac{1}{n}\sum x_i$ は $\bar{x}$ そのものなので、

$$= \overline{x^2} - 2\bar{x}^2 + \bar{x}^2 = \overline{x^2} - \bar{x}^2$$

ここで $\overline{x^2} = \frac{1}{n}\sum x_i^2$ は「2乗の平均」です。

$$s^2 = \overline{x^2} - \bar{x}^2 = \frac{1}{n}\sum_{i=1}^{n}x_i^2 - \left(\frac{1}{n}\sum_{i=1}^{n}x_i\right)^2$$

「2乗の平均 − 平均の2乗」です。 データを1回なめて $\sum x_i$ と $\sum x_i^2$ の2つを集めるだけで分散が出ます。 試験で「$\sum x_i = \cdots$、$\sum x_i^2 = \cdots$」と合計だけが与えられる問題は、この式を使う前提です。

n で割るか、n − 1 で割るか

ここまで分散は $n$ で割りました。ところが統計では、$n-1$ で割った量もよく使います。 統計検定2級では両者を区別します。

$$s^2 = \frac{1}{n}\sum_{i=1}^{n}(x_i - \bar{x})^2 \quad(\text{標本分散}), \qquad u^2 = \frac{1}{n-1}\sum_{i=1}^{n}(x_i - \bar{x})^2 \quad(\text{不偏分散})$$

目の前のデータそのものの散らばりを記述するなら $n$ で割ります。 一方、手元のデータを大きな集団（母集団）から取り出した一部（標本）とみなし、 母集団の散らばりを推し量るときは $n-1$ で割ります。

なぜ $n-1$ なのか、直観は先ほど導いた式にあります。 本当に知りたいのは母集団の平均 $\mu$ からの2乗距離ですが、$\mu$ は分からないので、 代わりに標本の平均 $\bar{x}$ を使います。ところが

$$\sum_{i=1}^{n}(x_i - \mu)^2 = \sum_{i=1}^{n}(x_i - \bar{x})^2 + n(\bar{x} - \mu)^2$$

なので、$\bar{x}$ からの2乗距離は $\mu$ からの2乗距離より必ず小さいか等しい。 $\bar{x}$ は、そのデータにとって2乗距離が最小になる点だからです。 $n$ で割ったままでは、母集団の分散を系統的に小さく見積もってしまう。 分母を $n-1$ に減らすのは、この目減りを補正するためです。

$n-1$ という数そのものは「偏差の和が $0$」から見えます。 偏差 $n$ 個のうち $n-1$ 個が決まれば、残り1個は和が $0$ になるように自動的に決まります。 自由に動ける偏差は $n-1$ 個しかない。これを自由度と呼びます。

ちょうど $n-1$ で割れば目減りが過不足なく補正されることの証明は、 確率変数の期待値を使うので、推定を扱う後の章で行います。

変動係数：規模の違うものの散らばりを比べる

ゾウの体重の標準偏差が $300\unit{kg}$、ネズミの体重の標準偏差が $5\unit{g}$ だったとします。 数値だけ見ればゾウのほうが散らばっていますが、そもそも体重の規模が違うので、この比較には意味がありません。

そこで標準偏差を平均で割り、平均に対して何割くらい散らばっているかを表します。

$$CV = \frac{s}{\bar{x}}$$

分子と分母が同じ単位なので、変動係数は単位のない数になります。 だから、単位や規模の違うデータどうしでも比べられます。 ただし、平均が正の値をとるデータ（重さ・金額・時間など）でしか意味を持ちません。 気温（℃）のように $0$ の位置が人為的に決められた量では、平均が $0$ 付近になると値が暴れます。

標準化：z スコア

テスト A で $78$ 点、テスト B で $66$ 点をとったとき、どちらの成績が「よい」と言えるでしょうか。 点数だけでは比べられません。平均も散らばりもテストごとに違うからです。

そこで、各値から平均を引き、標準偏差で割ります。

$$z_i = \frac{x_i - \bar{x}}{s}$$

$z_i$ は「平均から標準偏差何個ぶん離れているか」を表します。 $z = 2$ なら平均より標準偏差2個ぶん上、$z = -0.5$ なら半個ぶん下です。

標準化したデータは、平均が $0$、標準偏差が $1$ になります。 平均が $0$ になるのは、分子が偏差で、偏差の和が $0$ だからです。 標準偏差が $1$ になるのは、全データを $s$ で割ると散らばりもちょうど $1/s$ 倍になるからです。

冒頭のテストの問いに戻ります。例えばテスト A が平均 $70$・標準偏差 $8$、テスト B が平均 $54$・標準偏差 $6$ だったとすると、 z スコアは A が $(78 - 70)/8 = 1$、B が $(66 - 54)/6 = 2$ です。 図 5 のように、点数の低い B のほうが、集団の中では上位にいることになります。

標準化は、後の章で正規分布の確率を標準正規分布表から読むときに中心的な役割を果たします。

章末問題

問 1基本代表値と散らばり

次の5個のデータについて、以下を求めよ。

$$3,\quad 5,\quad 6,\quad 8,\quad 13$$

(1) 平均値と中央値 (2) 標本分散（$n$ で割る）と標準偏差（小数第2位まで） (3) 不偏分散（$n-1$ で割る）

解答を見る

(1) 合計は $3 + 5 + 6 + 8 + 13 = 35$ なので

$$\bar{x} = \frac{35}{5} = 7$$

小さい順に並んでいるので、中央値は3番目の $6$ です。 平均値のほうが大きいのは、$13$ が他より離れて大きいためです。

(2) 偏差は $-4, -2, -1, 1, 6$。和が $0$ になることを確かめておきます（$-7 + 7 = 0$）。 偏差の2乗の和は

$$16 + 4 + 1 + 1 + 36 = 58$$$$s^2 = \frac{58}{5} = 11.6, \qquad s = \sqrt{11.6} \approx 3.41$$

計算式でも検算します。2乗の和は $9 + 25 + 36 + 64 + 169 = 303$ なので

$$s^2 = \frac{303}{5} - 7^2 = 60.6 - 49 = 11.6$$

一致しました。

(3) 偏差の2乗の和 $58$ を $n - 1 = 4$ で割ります。

$$u^2 = \frac{58}{4} = 14.5$$

答: (1) 平均値 $7$、中央値 $6$　(2) 標本分散 $11.6$、標準偏差 $3.41$　(3) 不偏分散 $14.5$

問 2標準合計からの分散・変動係数・z スコア

店舗 A の10日間の来客数 $x_1, \ldots, x_{10}$（人）について

$$\sum_{i=1}^{10} x_i = 1200, \qquad \sum_{i=1}^{10} x_i^2 = 146000$$

であった。

(1) 平均と標本分散、標準偏差（小数第1位まで）を求めよ。 (2) 店舗 B の来客数は平均 $40$ 人、標準偏差 $8$ 人である。変動係数を比べ、相対的に来客数のばらつきが大きいのはどちらか答えよ。 (3) 店舗 A で来客数が $150$ 人だった日の z スコアを小数第2位まで求めよ。

解答を見る

(1) 平均と2乗の平均は

$$\bar{x} = \frac{1200}{10} = 120, \qquad \overline{x^2} = \frac{146000}{10} = 14600$$

計算式「2乗の平均 − 平均の2乗」より

$$s^2 = 14600 - 120^2 = 14600 - 14400 = 200$$$$s = \sqrt{200} = 10\sqrt{2} \approx 14.1\ \text{人}$$

(2) それぞれの変動係数は

$$CV_A = \frac{14.14}{120} \approx 0.118, \qquad CV_B = \frac{8}{40} = 0.20$$

標準偏差そのものは A（約 $14.1$ 人）のほうが大きいのに、 平均に対する割合では B（$20\%$）のほうが A（約 $11.8\%$）より大きい。 相対的なばらつきが大きいのは店舗 B です。

(3)

$$z = \frac{150 - 120}{14.14} \approx 2.12$$

この日は平均より標準偏差約 $2.1$ 個ぶん多かった、と読めます。

答: (1) 平均 $120$ 人、標本分散 $200$、標準偏差 約 $14.1$ 人　(2) 店舗 B　(3) $z \approx 2.12$

問 3発展2つのグループを合わせた分散

グループ P（4人）とグループ Q（6人）の得点について、次のことが分かっている。 分散はいずれも $n$ で割った標本分散である。

	人数	平均	分散
P	$4$	$10$	$4$
Q	$6$	$15$	$9$

2つのグループを合わせた10人の平均と分散を求めよ。 また、合わせた分散が P と Q の分散のどちらよりも大きくなる理由を説明せよ。

解答を見る

平均: 合計点は P が $4 \times 10 = 40$、Q が $6 \times 15 = 90$ なので

$$\bar{x} = \frac{40 + 90}{10} = 13$$

分散: 各グループの「2乗の和」を復元し、全体で計算式を使います。 計算式 $s^2 = \overline{x^2} - \bar{x}^2$ を $\overline{x^2} = s^2 + \bar{x}^2$ と読み替えると

$$\text{P}:\ \overline{x^2} = 4 + 10^2 = 104 \;\Rightarrow\; \sum x^2 = 4 \times 104 = 416$$$$\text{Q}:\ \overline{x^2} = 9 + 15^2 = 234 \;\Rightarrow\; \sum x^2 = 6 \times 234 = 1404$$

全体の2乗の平均は

$$\overline{x^2} = \frac{416 + 1404}{10} = \frac{1820}{10} = 182$$$$s^2 = 182 - 13^2 = 182 - 169 = 13$$

理由: 全体の分散は、次の2つの和に分解できます。

$$\underbrace{\frac{4 \times 4 + 6 \times 9}{10}}_{\text{グループ内の散らばり}} + \underbrace{\frac{4 \times (10 - 13)^2 + 6 \times (15 - 13)^2}{10}}_{\text{グループ平均どうしの散らばり}} = \frac{70}{10} + \frac{60}{10} = 7 + 6 = 13$$

（各グループで本文の式 $\sum(x_i - a)^2 = \sum(x_i - \bar{x})^2 + n(\bar{x} - a)^2$ を $a = 13$ として使い、足し合わせたものです。）

グループの平均が $10$ と $15$ で離れているため、グループ内の散らばりに 「平均どうしのずれ」による散らばり $6$ が上乗せされます。 そのため、どちらのグループ単独の分散よりも大きくなります。

答: 平均 $13$、分散 $13$。