数理手法IV第9回

ネクタイ @carbon_twelve

最適化と学習アルゴリズム #数理手法IV

ネクタイ @carbon_twelve

記法の定義 #数理手法IV

ネクタイ @carbon_twelve

勾配降下法（あるいは最急降下法） #数理手法IV

ネクタイ @carbon_twelve

Lが凸の場合には勾配と逆方向に進むと最小値に向かって進む #数理手法IV

ネクタイ @carbon_twelve

これの定式化 #数理手法IV

ネクタイ @carbon_twelve

とりあえず最後の式を見ればよい #数理手法IV

ネクタイ @carbon_twelve

鶏ｗｗｗｗｗ #数理手法IV

amylase伯爵 @pepsin_amylase

謎のアラーム #数理手法IV

ネクタイ @carbon_twelve

収束の評価 #数理手法IV

ネクタイ @carbon_twelve

α^(k)はあんまり大きくすると無意味 #数理手法IV

ネクタイ @carbon_twelve

このステップサイズαをどう決めるか #数理手法IV

amylase伯爵 @pepsin_amylase

目的関数の最適化における探索。移動方向は勾配で見つけるが移動幅は？ #数理手法IV

ネクタイ @carbon_twelve

αを決めるのもまた最適化問題になってしまう #数理手法IV

amylase伯爵 @pepsin_amylase

収束させたいという気持ちをヒューリスティックにしました！ α^(k) ∝ 1/√k #数理手法IV

ネクタイ @carbon_twelve

（減速ニュートン法みたいなことできないのかな？） #数理手法IV

ネクタイ @carbon_twelve

Armijo基準とWolfe基準 #数理手法IV

ネクタイ @carbon_twelve

Armijo基準：ξ(0≦ξ≦1)を予め適当に決めておいてL(W+ad)-L(W)≦ξα∇L(W)^Tdを満たすようにαを選ぶ #数理手法IV

ネクタイ @carbon_twelve

ξは本当に適当 #数理手法IV

ネクタイ @carbon_twelve

ヒューリスティクスだけどいい加減にαを選ぶよりかはマシ #数理手法IV

ネクタイ @carbon_twelve

代案：二分探索でαを決める #数理手法IV

ネクタイ @carbon_twelve

Lが微分可能でない場合 #数理手法IV

ネクタイ @carbon_twelve

劣微分 #数理手法IV

amylase伯爵 @pepsin_amylase

微分可能でないときは劣勾配を考える。接平面として考えられる傾きの集合のこと。 #数理手法IV

ネクタイ @carbon_twelve

L1 lossならw = 0のとき[-1, 1]となる #数理手法IV

ネクタイ @carbon_twelve

劣微分を使って勾配降下法をやってもよい #数理手法IV