2変数の関係：相関係数と回帰直線

前の2章では、1つの量の分布を要約しました。 この章では、身長と体重、勉強時間と得点のように、2つの量の関係を扱います。

問いは2つあります。 「2つの量はどのくらい強く連動しているか」と、 「一方の値から他方の値をどう予測するか」です。 前者に答えるのが相関係数、後者に答えるのが回帰直線です。 どちらも第1章の偏差と分散の考え方をそのまま2変数に広げたものです。

散布図

$n$ 組のデータ $(x_1, y_1), (x_2, y_2), \ldots, (x_n, y_n)$ を平面上の点として描いた図を散布図と呼びます。

散布図で見るべきことは次の3つです。

• 向き … 右上がり（一方が大きいと他方も大きい）なら正の相関、右下がりなら負の相関
• 強さ … 点が直線の近くに集まっているほど強い
• 形 … 直線的か、曲がっているか。外れた点はないか

数値で要約する前に、必ず散布図を描いて形を確かめてください。 この章で扱う指標はすべて「直線的な関係」を測るもので、曲線的な関係は正しく表せないからです。

共分散

偏差の積の符号

各点について、$x$ の偏差 $x_i - \bar{x}$ と $y$ の偏差 $y_i - \bar{y}$ の積を考えます。 散布図を点 $(\bar{x}, \bar{y})$ を通る縦線と横線で4つの領域に分けると、積の符号は領域で決まります。

右上がりの散布図では、右上と左下の点が多く、正の積が多数を占めます。 右下がりなら逆に負の積が多くなります。はっきりした傾向がなければ、正と負が打ち消し合います。 そこで、偏差の積を平均したものを関係の向きの指標にします。

$$s_{xy} = \frac{1}{n}\sum_{i=1}^{n}(x_i - \bar{x})(y_i - \bar{y})$$

$y$ を $x$ に置き換えると $s_{xx} = \frac{1}{n}\sum (x_i - \bar{x})^2 = s_x^2$ で、分散に戻ります。 共分散は分散の2変数版です。

分散と同じように展開すると、電卓向きの式が得られます。

$$s_{xy} = \frac{1}{n}\sum_{i=1}^{n}\left(x_i y_i - \bar{y}\,x_i - \bar{x}\,y_i + \bar{x}\bar{y}\right) = \overline{xy} - \bar{y}\bar{x} - \bar{x}\bar{y} + \bar{x}\bar{y} = \overline{xy} - \bar{x}\,\bar{y}$$

「積の平均 − 平均の積」です。分散の「2乗の平均 − 平均の2乗」と同じ形をしています。

相関係数

共分散を、それぞれの標準偏差で割ります。

$$r = \frac{s_{xy}}{s_x\, s_y} = \frac{\sum (x_i - \bar{x})(y_i - \bar{y})}{\sqrt{\sum (x_i - \bar{x})^2}\sqrt{\sum (y_i - \bar{y})^2}}$$

2つ目の形では分子・分母の $\frac{1}{n}$ が約分されています。 そのため、$n$ で割っても $n-1$ で割っても、相関係数の値は同じです。

なぜ −1 から 1 の間に収まるのか

各データを標準化します。

$$z_i = \frac{x_i - \bar{x}}{s_x}, \qquad w_i = \frac{y_i - \bar{y}}{s_y}$$

第1章で見たとおり、標準化した値は平均 $0$、分散 $1$ なので

$$\frac{1}{n}\sum_{i=1}^{n} z_i^2 = 1, \qquad \frac{1}{n}\sum_{i=1}^{n} w_i^2 = 1$$

さらに、相関係数は標準化した値どうしの積の平均になっています。

$$\frac{1}{n}\sum_{i=1}^{n} z_i w_i = \frac{1}{n}\sum_{i=1}^{n}\frac{(x_i - \bar{x})(y_i - \bar{y})}{s_x s_y} = \frac{s_{xy}}{s_x s_y} = r$$

ここで、2乗の和は $0$ 以上であることを使います。

$$0 \le \frac{1}{n}\sum_{i=1}^{n}(z_i - w_i)^2 = \frac{1}{n}\sum z_i^2 - \frac{2}{n}\sum z_i w_i + \frac{1}{n}\sum w_i^2 = 1 - 2r + 1 = 2(1 - r)$$

よって $r \le 1$。$z_i - w_i$ を $z_i + w_i$ に替えると同様に $0 \le 2(1 + r)$ で、$r \ge -1$。

相関係数には単位がありません。 $x$ を $a x + b$（$a > 0$）と変換しても、標準化した値 $z_i$ は変わらないので、$r$ も変わりません。 $\mathrm{m}$ で測っても $\mathrm{cm}$ で測っても同じ値になります。 （$a < 0$ なら符号だけが反転します。）

図 2 は、いろいろな大きさの相関係数をもつ散布図の例です。 散布図を見て $r$ のおおよその値を見積もれるようにしておくと、散布図と相関係数を対応させる問題で役に立ちます。

図 3 は、上の $y = x^2$ の例を偏差の積で見たものです。

要約の数値がまったく同じでも、散布図がまるで違うことがあります。 図 4 は、統計学者アンスコムが1973年の論文で示した4組のデータです。

相関と因果

相関係数が大きくても、「一方が他方の原因である」とは言えません。

夏には、アイスクリームの売上も水難事故の件数も増えます。 日ごとのデータをとれば両者には正の相関が出ますが、アイスを食べると溺れるわけではありません。 気温という第3の要因が、両方を同時に増やしています。 このように、2つの量の両方に影響して見かけの相関を生む要因を交絡因子（交絡変数）と呼び、 その結果として現れる相関を見かけの相関（擬似相関）と言います。 図 5 に、この関係を矢印で示します。

回帰直線：最小二乗法

相関係数は関係の強さを表しますが、$x$ から $y$ を予測する式は与えません。 そこで、散布図に直線 $y = a + bx$ を当てはめます。

残差と最小二乗法

直線から予測される値 $\hat{y}_i = a + b x_i$ と実際の値 $y_i$ の差を残差と呼びます。

$$e_i = y_i - (a + b x_i)$$

残差は正にも負にもなるので、第1章の分散と同じく2乗して合計し、 それが最小になる $a$、$b$ を選びます。これを最小二乗法と呼びます。

$$S(a, b) = \sum_{i=1}^{n}\left(y_i - a - b x_i\right)^2$$

切片：直線は平均の点を通る

まず $b$ を固定して、$a$ だけを動かすことを考えます。 $u_i = y_i - b x_i$ とおくと

$$S = \sum_{i=1}^{n}(u_i - a)^2$$

これは第1章で扱った「データ $u_i$ からの距離の2乗の合計」で、$a$ が $u_i$ の平均のとき最小になりました。

$$a = \bar{u} = \bar{y} - b\bar{x}$$

言い換えると $\bar{y} = a + b\bar{x}$。回帰直線は必ず平均の点 $(\bar{x}, \bar{y})$ を通ります。

傾き：平方完成で決める

$a = \bar{y} - b\bar{x}$ を $S$ に代入すると

$$y_i - a - b x_i = (y_i - \bar{y}) - b(x_i - \bar{x})$$

となって、偏差だけの式になります。2乗して足すと

$$S = \sum (y_i - \bar{y})^2 - 2b\sum (x_i - \bar{x})(y_i - \bar{y}) + b^2\sum (x_i - \bar{x})^2 = n\left(s_y^2 - 2b\, s_{xy} + b^2 s_x^2\right)$$

これは $b$ の2次式なので、平方完成します。

$$S = n\left\{ s_x^2\left(b - \frac{s_{xy}}{s_x^2}\right)^2 + s_y^2 - \frac{s_{xy}^2}{s_x^2} \right\}$$

括弧の中の第1項は $0$ 以上で、$b = s_{xy}/s_x^2$ のときだけ $0$ になります。これが最小を与える $b$ です。

$$\hat{y} = a + bx, \qquad b = \frac{s_{xy}}{s_x^2} = r\,\frac{s_y}{s_x}, \qquad a = \bar{y} - b\,\bar{x}$$

$b = r\,s_y/s_x$ という形は、$s_{xy} = r\,s_x s_y$ を代入すれば得られます。 「$x$ が標準偏差1個ぶん増えると、$\hat{y}$ は $y$ の標準偏差の $r$ 個ぶん増える」と読めます。

微分を使う方法でも同じ結果になります。 $S$ を $a$ と $b$ でそれぞれ偏微分して $0$ とおいた連立方程式（正規方程式）を解くと、上の $a$、$b$ が得られます。

決定係数

平方完成した式で $b = s_{xy}/s_x^2$ とすると、第1項が消えて、残差の2乗和の最小値が残ります。

$$S_{\min} = n\left(s_y^2 - \frac{s_{xy}^2}{s_x^2}\right) = n\, s_y^2\left(1 - \frac{s_{xy}^2}{s_x^2 s_y^2}\right) = n\, s_y^2\,(1 - r^2)$$

$n s_y^2 = \sum (y_i - \bar{y})^2$ は、$x$ を使わずに「全員を平均 $\bar{y}$ で予測した」ときの2乗誤差の合計です。 回帰直線を使うと、それが $(1 - r^2)$ 倍に減る。 減った割合を決定係数と呼びます。

$$R^2 = 1 - \frac{\sum (y_i - \hat{y}_i)^2}{\sum (y_i - \bar{y})^2} = r^2$$

「$y$ の変動のうち、$x$ との直線関係で説明できる割合」と読みます。 上の例では $r^2 \approx 0.916^2 \approx 0.840$ で、得点のばらつきの約 $84\%$ が勉強時間で説明できる、となります。 （検算: 残差は $1.0, 3.5, -9.0, 3.5, 1.0$ で、2乗和は $107.5$。$1 - 107.5/670 \approx 0.840$。）

図 7 は、この検算を図にしたものです。

$R^2 = r^2$ が成り立つのは、説明変数が1つの単回帰の場合です。 説明変数が複数ある重回帰では、$R^2$ は上の左辺の式で定義します。

回帰の向き

$x$ から $y$ を予測する直線と、$y$ から $x$ を予測する直線は、一般に別の直線です。

$y$ から $x$ を予測する回帰直線（$x$ の $y$ への回帰）は、役割を入れ替えて同じ計算をすれば

$$\hat{x} = c + d\,y, \qquad d = \frac{s_{xy}}{s_y^2}, \qquad c = \bar{x} - d\,\bar{y}$$

2つの直線は、どちらも平均の点 $(\bar{x}, \bar{y})$ を通りますが、傾きが違います。 最小にしている量が違うからです。$y$ の $x$ への回帰は縦方向の残差を、 $x$ の $y$ への回帰は横方向の残差を最小にしています。

章末問題

問 1基本共分散と相関係数

次の5組のデータについて答えよ。

$x$	$1$	$2$	$3$	$4$	$5$
$y$	$2$	$4$	$5$	$4$	$5$

(1) 共分散 $s_{xy}$ を求めよ。 (2) 相関係数 $r$ を小数第2位まで求めよ。

解答を見る

(1) 平均は $\bar{x} = 15/5 = 3$、$\bar{y} = 20/5 = 4$。偏差と積は

$x - \bar{x}$	$-2$	$-1$	$0$	$1$	$2$
$y - \bar{y}$	$-2$	$0$	$1$	$0$	$1$
積	$4$	$0$	$0$	$0$	$2$

$$s_{xy} = \frac{4 + 0 + 0 + 0 + 2}{5} = \frac{6}{5} = 1.2$$

「積の平均 − 平均の積」でも検算します。$\sum xy = 2 + 8 + 15 + 16 + 25 = 66$ なので

$$s_{xy} = \frac{66}{5} - 3 \times 4 = 13.2 - 12 = 1.2$$

(2) 分散は

$$s_x^2 = \frac{4 + 1 + 0 + 1 + 4}{5} = 2, \qquad s_y^2 = \frac{4 + 0 + 1 + 0 + 1}{5} = 1.2$$$$r = \frac{1.2}{\sqrt{2 \times 1.2}} = \frac{1.2}{\sqrt{2.4}} \approx \frac{1.2}{1.549} \approx 0.77$$

答: (1) $s_{xy} = 1.2$　(2) $r \approx 0.77$

問 2標準要約統計量から回帰直線

ある集団の身長 $x$（$\mathrm{cm}$）と体重 $y$（$\mathrm{kg}$）について、次の値が得られている。

$$\bar{x} = 170, \quad \bar{y} = 62, \quad s_x = 6, \quad s_y = 8, \quad r = 0.6$$

(1) $y$ の $x$ への回帰直線を求めよ。 (2) 身長 $180\unit{cm}$ の人の体重を予測せよ。 (3) 決定係数を求め、その意味を述べよ。

解答を見る

(1) 傾きは

$$b = r\,\frac{s_y}{s_x} = 0.6 \times \frac{8}{6} = 0.8$$

回帰直線は平均の点を通るので

$$a = \bar{y} - b\,\bar{x} = 62 - 0.8 \times 170 = 62 - 136 = -74$$$$\hat{y} = -74 + 0.8x$$

切片 $-74$ は「身長 $0\unit{cm}$ の人の体重」を意味するわけではありません。 データのある範囲（$170\unit{cm}$ 前後）で直線を当てはめた結果、式の上でそうなっているだけです。

(2)

$$\hat{y} = -74 + 0.8 \times 180 = -74 + 144 = 70\unit{kg}$$

平均より $10\unit{cm}$ 高いので、$0.8 \times 10 = 8\unit{kg}$ 重いと予測した、と見ても同じです。

(3) 単回帰なので

$$R^2 = r^2 = 0.6^2 = 0.36$$

体重のばらつき（分散）のうち、身長との直線関係で説明できるのは $36\%$ で、残り $64\%$ は身長以外の要因によるもの、という意味です。

答: (1) $\hat{y} = -74 + 0.8x$　(2) $70\unit{kg}$　(3) $0.36$

問 3発展回帰の向きと平均への回帰

父親の身長 $x$ と息子の身長 $y$（いずれも $\mathrm{cm}$）について

$$\bar{x} = \bar{y} = 170, \qquad s_x = s_y = 6, \qquad r = 0.5$$

であった。

(1) 父親の身長が $182\unit{cm}$ のとき、息子の身長を回帰直線で予測せよ。 (2) 息子の身長が $182\unit{cm}$ のとき、父親の身長を回帰直線で予測せよ。 (3) (1) の回帰直線の傾き $b$ と、$x$ の $y$ への回帰直線 $\hat{x} = c + dy$ の係数 $d$ について、一般に $bd = r^2$ が成り立つことを示せ。 (4) (1) と (2) の結果がどちらも $182$ より平均に近くなる理由を説明せよ。

解答を見る

(1) $b = r\,s_y/s_x = 0.5 \times 6/6 = 0.5$。平均の点を通るので $a = 170 - 0.5 \times 170 = 85$。

$$\hat{y} = 85 + 0.5 \times 182 = 85 + 91 = 176\unit{cm}$$

(2) 役割を入れ替えます。$d = r\,s_x/s_y = 0.5$、$c = 170 - 0.5 \times 170 = 85$。

$$\hat{x} = 85 + 0.5 \times 182 = 176\unit{cm}$$

(1) の式 $y = 85 + 0.5x$ を $x$ について解いて $x = 2y - 170$ とすると $2 \times 182 - 170 = 194\unit{cm}$ になりますが、 これは $x$ の予測として正しくありません。予測に使うのは $x$ の $y$ への回帰直線です。

(3)

$$b\,d = \frac{s_{xy}}{s_x^2}\cdot\frac{s_{xy}}{s_y^2} = \frac{s_{xy}^2}{s_x^2 s_y^2} = \left(\frac{s_{xy}}{s_x s_y}\right)^2 = r^2$$

この問題では $0.5 \times 0.5 = 0.25 = 0.5^2$ で、確かに成り立っています。

(4) 標準化して考えます。$s_x = s_y$ なので、回帰直線は

$$\frac{\hat{y} - \bar{y}}{s_y} = r\,\frac{x - \bar{x}}{s_x}$$

と書けます。父親が平均より標準偏差 $2$ 個ぶん高い（$z = 12/6 = 2$）とき、 息子の予測は標準偏差 $r \times 2 = 1$ 個ぶんだけ高い $176\unit{cm}$ です。 $|r| \lt 1$ である限り、予測値は必ず平均の側に引き寄せられます。

これは、息子の身長が父親の身長だけでは決まらず、他の要因によるばらつきを含むからです。 予測はそのばらつきを平均して出すので、極端さが割り引かれます。 向きを逆にしても同じ理屈で、背の高い息子の父親は、平均すると息子ほどは極端ではありません。 この現象を平均への回帰と呼びます。「世代を経るごとに身長の散らばりが縮む」という意味ではありません （実際、この問題では $s_x = s_y$ で散らばりは同じです）。

答: (1) $176\unit{cm}$　(2) $176\unit{cm}$