知識処理論第5回

ネクタイ @carbon_twelve

Ridge estimatorとLasso #知識処理論

ネクタイ @carbon_twelve

制約条件の形がRidgeでは円、Lassoでは菱形 #知識処理論

ネクタイ @carbon_twelve

Ridgeでは最小二乗推定量から（残差的に）最も近い制約条件上の点がS(β)を最小化する #知識処理論

ネクタイ @carbon_twelve

Lassoでは菱形のとんがっているところで推定量が出てくるので、何かしらの説明変数の係数がちょうど0になる #知識処理論

ネクタイ @carbon_twelve

Lassoではモデルの推定 = モデルの評価 #知識処理論

ネクタイ @carbon_twelve

簡単な数値実験をしてみる #知識処理論

ネクタイ @carbon_twelve

300個のパラメータを推定してみると、本物と同じぐらいの大きさのパラメータがたくさんでてくる #知識処理論

古材 @zaikozai

例によって図が非常にわかりやすい授業 #知識処理論

ネクタイ @carbon_twelve

λを変化させたときにBICが最も小さくなる点では5個の変数だけが残った #知識処理論

XENO @xenophobia__

ベイズ型モデル評価基準BIC #知識処理論

ネクタイ @carbon_twelve

データが与えられた時のモデルの事後確率p(M_k | D)を最大化する #知識処理論

XENO @xenophobia__

p(D | M_k) = ∫p(D, β_k | M_k)dβ_k = ∫p(D | β_k, M_k)p(β_k | M_k)dβ_k #知識処理論

XENO @xenophobia__

β^_p = argmin( S_λ(β) ) #知識処理論

ネクタイ @carbon_twelve

Ridge推定量のX^TXという行列は分散共分散行列のn倍 #知識処理論

ネクタイ @carbon_twelve

ケチの原理 #知識処理論

XENO @xenophobia__

かみそり？ #知識処理論

ネクタイ @carbon_twelve

Elastic net #知識処理論

ネクタイ @carbon_twelve

S = 残差平方和 + Lassoのペナルティ項 + Ridgeのペナルティ項 #知識処理論