知識処理論第6回

XENO @xenophobia__

教室変更：007へ #知識処理論

XENO @xenophobia__

井元先生は今日まで。来週からは相澤先生 #知識処理論

XENO @xenophobia__

今日は倍速 #知識処理論

XENO @xenophobia__

パラメトリック回帰（関数の形に仮定を置く推定法）には限界がある #知識処理論

XENO @xenophobia__

スプライン・カーネル法・ニューラルネットワーク #知識処理論

XENO @xenophobia__

ノンパラメトリック回帰：各データ点での値(x_i, m_i)のm_iのみを推定の対象にする。 #知識処理論

XENO @xenophobia__

大体なめらかな曲線で結ばれていると仮定して、各データ点での値を推定する #知識処理論

XENO @xenophobia__

となると最小二乗法が使える（残差の二乗和を最小化）が、それだと観測されたノイズまでモデルに込めてしまう。 #知識処理論

XENO @xenophobia__

つまり過学習が起き、次に観測されるデータを推定できない #知識処理論

XENO @xenophobia__

Roughness Penaltyを加えて最小二乗法を改善 #知識処理論

XENO @xenophobia__

Roughness Penaltyの第二項は、drasticに変動するギザギザな関数では大きくなってしまうので、そのような過学習されたモデルを防げる。 #知識処理論

XENO @xenophobia__

スプライン曲線 #知識処理論

XENO @xenophobia__

n点の間を補完する自然３次スプラインは一意に決まる #知識処理論

XENO @xenophobia__

平滑化スプライン：Roughness Penaltyを加えた罰則付き最小二乗法で推定されたスプライン曲線。このときの第二項の定数λを平滑化パラメータという。 #知識処理論

XENO @xenophobia__

スプラインを自然３次スプラインに制限すると、Roughness Penaltyの項はベクトル・行列の積で表される #知識処理論

XENO @xenophobia__

すると罰則付き最小二乗法の式はどっちの項も二次形式になり、あとは微分するだけでwの推定値が求まる #知識処理論

XENO @xenophobia__

平滑化パラメータの選択：交差検証法 #知識処理論

XENO @xenophobia__

B-スプラインの線形結合によって曲線を構成する #知識処理論

amylase伯爵 @pepsin_amylase

計算のしやすさと正確さは基底の数によるトレードオフなんでは。 #知識処理論

amylase伯爵 @pepsin_amylase

できるだけ重ならないように選択すれば連立方程式を解くにしても疎行列になるわけだし。 #知識処理論

amylase伯爵 @pepsin_amylase

フィルター（http://t.co/eamwtwbC）を使って性質を調べるのですね。 #知識処理論

XENO @xenophobia__

レポート課題！ #知識処理論

お餅 @omochi64

課題出た #知識処理論