１０ 重回帰(説明変数が複数個)の場合

娘が歌っている「どんぐり」の歌です．
どんぐりの落ちる音が「どんぶりこ」なのですね．

　今までは，説明変数が１つ(単回帰)でしたが，複数個ある場合でも同様に考えることができます．そこで，与えられた観測値がFig.6.10.1のようになったと仮定します．

　このとき，説明変数が１個の時と同様に，

という線形式に適応させることを考えます．そして，これらの観測値より，それぞれの ｘ の値を代入したとき，なるべく，観測した ｙ の値に近い値となるように a_0,a₁, a₂ の値を求めようということです．これら a_0,a₁, a₂ を偏回帰係数と呼びます．

Fig.6.10.2

【数学的なイメージの理解】

　最初に数学的なイメージを学習します．Fig.6.10.2を見てください．ここでは，

とします．

【具体的な計算】

　このとき，説明変数が１個の場合と同様，回帰によって説明されない情報をなるべく小さくするような偏回帰係数a₁, a₂を求めます（もっと良い方法があれば良いのですが，それは神様にしか分からないので仕方なくというところです）．すなわち，

とおいたとき，この値を最小にする偏回帰係数 a₁, a₂ を求めることとなります．そこで，Lagrangeの未定乗数法を用いて解きます．Lagrangeの未定乗数法とは，L を a₀,a₁, a₂ で偏微分し，その値を0として連立１次方程式を解く方法です．具体的に，少し計算をしてみましょう．

式１０．１

となります．式１０．１（１）の a₀ を式１０．１（２）（３）へ代入して整理すると，

式１０．２

となります．したがって，式１０．２(4)，(5)の連立方程式をa₁, a₂に関して解けばよいこととなります．

　(4)の左辺第１項と（５）の左辺第２項は，列ごとの説明変数の平均とその差の平方和なので偏差平方和と呼ばれ，(４)の左辺第２項と(５)の左辺第１項は，列ごとの説明変数の平均と差のそれぞれの積の和なので積和と呼ばれます．また，（４）（５）の右辺は，説明変数と目的変数の列ごとの平均との偏差の積の和となっていて，偏差積和と呼ばれます．それらの式は，ややこしいので，

とおいて整理しますと，式１０．２（４）（５）は，

式１０．３

となり，行列を用いて表現すると，

式１０．４

となります．このとき，左辺の１つ目の行列を偏差平方和・積和行列と呼びます．この偏差平方和・積和行列に逆行列が存在するとき，私たちは容易に偏回帰係数 a₁, a₂ を求めることができます．そして，a₀は，より求めることが可能です．

　一般的なお話をしましょう．観測値が，Fig.6.10.3のように与えられたとします．

　このとき，線形の式 にあてはめ，なるべく，回帰によって説明されない情報をなるべく小さくするような偏回帰係数a₁, a₂,…,a_ｐを求めます．これも，Lagrangeの未定乗数法を用いて解きます．まず，偏微分を行い，

式１０．５

とおくと，連立方程式

式１０．６

が導かれます．そこで，あらためて，

とおくと，連立方程式 式１０．５は，

式１０．７

となります．式１０．７を行列で表現すると，

式１０．８

という関係式が成り立ちます．ここで，

式１０．９

とおきますと，式１０．８は

式１０．１０

と，表現されます．一般の場合でも，行列 S は独立変数の偏差平方和・積和行列（対称行列），行列 M は独立変数と従属変数の偏差積和行列と呼ばれます．今，求めようとしているのは，偏回帰係数 a₀， a₁，… ， a_ｐ なので，偏差平方和・積和行列 S に逆行列 S^-1 が存在すれば式１０．１０の両辺の左から S^-1 をかけることにより，

式１０．１１

を計算することにより求めることが可能です．なお，a₀ は式１０．６の一番上の式に代入することにより求めることが可能です．また，決定係数に関しても，説明変数が1個の場合と同じ考え方に従って，

式１０．１２

となります．

　このような流れに従って，偏回帰係数，回帰直線，そして，決定係数を求めることが可能です．しかし，いざ計算しようとすると，式１０．１１には逆行列が含まれ，計算がとても大変です．次の章では，簡単に計算できるプログラムがありますので，ここで学習した内容を軸に，具体的な問題に取り組むことにしましょう．