７ 回帰直線(3)

　前章の続きです．どうして，

式７．１

が成り立つのか，異なった視点から回帰直線を見ていくことにしましょう．そこで，もう一度，具体的な例題を読み直すことにします．以下の問題は，微分を利用して解法しましたが，今回は微分を利用しないで求めることを考えます．

Fig.6.7.1

問題１　３点 A(2,2), B(4,5), C(8,6) がある．このとき，３点の y 座標と，ある直線の y 座標との差の自乗の和が最小となるような直線の方程式を求めよ．

[解説]　ここでも，求めたいものが直線であるので，それを とおくことから始めます．

[解法２　(微分を利用しないで求める方法)]

　求める直線を とおきます．しかし，このままであると，一般に，与えられた 3 点を通るような直線を求めることができません．そこで，求める直線を とおきます．ここで，εは誤差を表しています．すると，

2 = a₀ + 2a₁ + ε₁

5 = a₀ + 4a₁ + ε₂

6 = a₀ + 8a₁ + ε₃

が得られます．これはベクトルを用いて表現しますと，

式７．２

となります．このことを図で示すと，

Fig.6.7.2

→

となります．すなわち，

ベクトル	を	ベクトル	に	誤差を表すベクトル	を	加えたベクトルで表現する
		と
		ベクトル
		から生成されるベクトル
		各々のベクトルを
		実数倍してできるベクトル

ことを意味しています．ベクトル とベクトル から生成されるベクトル全体の集合を

と書きます．

Fig.6.7.3

ワンポイント ベクトル , が互いに垂直で あるためには,内積が0となる． すなわち,･ = 0.

　２つのベクトルで張られた平面(π)上のベクトル と誤差を表すベクトル の和が となる係数 a₀, a₁ は無数にありますが，誤差ベクトルがなるべく小さくなるようにそれらを定めます．言い換えると，|| が最小となるように(点Ｐと平面の長さが最小となるように)２つの係数を定めることとします．最小にするには，Fig.6.4.3のように２つのベクトル，

ベクトル とベクトル が張る平面 πと誤差ベクトル が 互いに垂直

となるように a₀, a₁ を定めることとなります．そのためには，

式７．３

となります．一方，式7.2より，

式７．４

となります．これをコンパクトに行列を用いて表現すると，

式７．５

となりますので，式7.3へ式7.5を代入すると,

式７．６

となります．再度，上記２つの式を行列を用いて表現すると，

式７．７

となります．したがって,

式７．８

を解くこととなります．ここで，a₀ と a₁ を求めるため， とおくと，両辺に Ａ の逆行列 Ａ^-1 を掛けることにより，

式７．９

求めることができます．これは，以前｢解法１｣で微分を用いて求めた解と一致します．

Fig.6.7.4

　ここでようやく，なぜ，

が成り立つのか見えてきました．すなわち，右の図において，

ということになります．なるべく誤差を小さくしたい，すなわち，右の図において，||(=)を最小にするためには，平面πに対し， が垂直となれば良いのです．その時，△OHP は直角三角形となりますので，回帰直線において全情報は和の形で分解されるということが理解できます．このことが本当に成立っているのか，問題１の場合を例にとり，確かめてみることにしましょう． 　上のアプレットにおいて，回帰直線上にマウスポインタをおいて，ドラッグしてみて下さい．それに応じて，右の誤差ベクトルの変化する様子が見てとらえることができます．確かに，回帰直線の場合，和が全情報となっていることともに，平面に対し誤差ベクトルが垂直になっていることが分かります．

　これで，ようやくすっきりとしました．とてもうまくできていると，感心させられます．回帰分析は，このことから，

観測値から，どれだけ多くの情報(ベクトル)を，平面上で表現することができるか？

ということを問題としているのです．つまり，

うまく平面をとることにより，どれだけ多くの情報を射影することが可能か？

と言い換えることができます．

　高校のときに，内積を学習しましたが，｢それがどのような意味を持つのか｣，｢何の役に立つのか｣理解できませんでした．しかし，今回，観測値から得られる本来の情報を，平面上に射影し，そこで，より多くの情報を得るためにはどのようにするとよいか，ということを考えますと，まさに，内積そのものであることに気づかされます．