知識処理論第4回

XENO @xenophobia__

復習：罰則付き残差二乗和 #知識処理論

XENO @xenophobia__

スライドあるしノート取るのはやめとこう。話ちゃんと聞く。 #知識処理論

ネクタイ @carbon_twelve

今日はベイズのお話とridge推定量のお話を掘り下げて #知識処理論

ネクタイ @carbon_twelve

S_λ(β)に帳尻合わせの項をくっつけてやると、この関数の最小化は事後分布の確率の最大化と同じ #知識処理論

ネクタイ @carbon_twelve

……でいいの？ #知識処理論

ネクタイ @carbon_twelve

λ'が大きいっていうのは分散共分散行列の係数が小さい、すなわち分散が小さいということ #知識処理論

ネクタイ @carbon_twelve

すると、p(θ|D)は事前分布を信じようとして、より事前分布に引き寄せられる #知識処理論

XENO @xenophobia__

感覚的には「分散が小さい→情報の影響が強い」 #知識処理論

ネクタイ @carbon_twelve

(R=(X^TX+σ^2λI)) #知識処理論

ネクタイ @carbon_twelve

多変量の正規分布ということが分かる #知識処理論

ネクタイ @carbon_twelve

σ^2はモデルとデータから計算できる。λは先見的な知識から設定するもの。その比にだけ意味がある。 #知識処理論

ネクタイ @carbon_twelve

あるモデルに対して事前分布と事後分布が同じ分布のとき、これをそのモデルに対する自然共役分布という #知識処理論

ネクタイ @carbon_twelve

∫p(π|x)dπ = 1よりp(x) = ∫L(x|π)p(π)dπ #知識処理論

ネクタイ @carbon_twelve

スライドの式はここから始まってる #知識処理論

XENO @xenophobia__

π^(α-1)(1-π)^(β-1)の積分はガンマ関数で表される。 #知識処理論

ネクタイ @carbon_twelve

事前：Beta(α, β) → 「データはn回中x回が確率πで生起」でアップデート→ 事後：Beta(x - α, n - x + β) #知識処理論

ネクタイ @carbon_twelve

ここで一区切り #知識処理論

ネクタイ @carbon_twelve

線形重回帰モデル #知識処理論

XENO @xenophobia__

情報量基準：真の分布と最尤法で推定されたモデルとの距離が近いほど良いモデル #知識処理論

ネクタイ @carbon_twelve

情報量基準 #知識処理論