@mixingale 線形モデルの最小二乗法による推定に至るまでの仮定検証

Kohei Kawaguchi=Sunada @mixingale

みんなが大好きな「線形モデル」の「最小二乗法による推定」に至るまでにどのような仮定をつみかさねているのかを辿る物語。(1)あるところに確率変数Wがいた。(2)Wは目に見えるZと目に見えないeに分けられた:W=(Z, e)。つまり、Zの分布Fzは既知だがeの分布Feは未知であった。

Kohei Kawaguchi=Sunada @mixingale

(3)われわれは理論Tを持っていた。この理論は物理学によるものかもしれないし、経済学によるものかもしれないし、心理学によるものかもしれなかった。この理論に基づけば(Z,e)はT(Z,e|θ)=0という関係式を満たしているはずだった…だがしかし、理論ではわからないことθもあった。

Kohei Kawaguchi=Sunada @mixingale

「理論ではわからないこと」の数は有限の場合もあれば無限の場合もあった:θは有限次元のこともあれば無限次元のこともあった。(4)しかし、たまたま、ZはYとXの二つに分けられ、先の陰関数はうまい具合にYに関して陽に解けることが分かった: T(Y,X,e|θ)=0⇔Y=g(X,e|θ)

Kohei Kawaguchi=Sunada @mixingale

(5)しかもまたまたうまい具合にeは足し算の形でくっついているだけだとわかったのだった:Y=h(X|θ)+e。(6)それだけではない、関数hは十分に滑らかで、h(X|θ)=∑β_k*X^k的な多項式近似が可能だということが判明した。

Kohei Kawaguchi=Sunada @mixingale

(7)さらに都合のいいことに、多項式近似は極限をとらなくても、有限個の次数の多項式がぴったりフィットすることがわかった:h(X|θ)=β_0+β_1*X+...+β_k*X^k。線形モデルY=β_0+β_1*X+...+β_k*X^k+eが完成した瞬間であった。

Kohei Kawaguchi=Sunada @mixingale

ここまでうまい具合に仮定が積み重なって、線形モデルが得られることがわかった。次の問題は、XとYが観察できるときに、未知の情報、すなわち"理論では分からないこと"θと、"目に見えない"eの分布Feをどうやってリカバリーするかということだ。

Kohei Kawaguchi=Sunada @mixingale

(8)ところでこのときXとeの共分散は0との天啓を得た。すなわちE[X'e]=E[X'(Y-Xβ)]=0ということである(E[e]=0は一般性を失わずに取得済みであった)。ということは、真のβはβ=E[X'X]^(-1)E[X'Y]と既知の変数の関数としてかけるということである。

Kohei Kawaguchi=Sunada @mixingale

ところでE[X'(Y-Xβ)]=0はE[(Y-Xβ)(Y-Xβ)']のβに関する最小化の必要十分条件である。すなわち真のβはYとXβのL2距離を最小化する存在だということだ。もうめんどくさいので、サンプルで似たやつb=(X'X/n)^(-1)X'Y/nを推定量として選んでしまう。

Kohei Kawaguchi=Sunada @mixingale

ここで(9)XやYがある種のランダムサンプルとして得られていれば、このb=(X'X/n)^(-1)X'Yはβ=E[X'X]^(-1)E[X'Y]に収束していく。かくして"理論ではわからなかったこと"θ(=β)のわりとうまい近似値を理論T、観察事実Y、Xの助けで得ることができた。

Kohei Kawaguchi=Sunada @mixingale

また、"目に見えない"Feは、e=Y-Xbという形で値を得てやると、こちらもかなりうまい近似値が得られた。「線形モデル」の「最小二乗法による推定値」が得られるまでの物語おしまい。