機械学習とベイズ推論、モデルの妥当性について

9
Masaki Saito @rezoolab

ベイズ統計的に妥当であるのかというのは,真の分布とモデル分布のKL距離が近いかどうかという統計的な話.物理現象的に妥当であるかというのは,モデルが対象の物理現象を正しく追っているモデルであるのかという物理的な話.最後は工学的な話

2013-11-11 21:10:41
Masaki Saito @rezoolab

究極的には3つとも同じこと言ってるんだけど(もし物理現象を正確に記述した統計モデルであるならば当然のことながらKL距離は最小となるし,工学的にも正確な分布を返す),ニュアンスが違う

2013-11-11 21:13:57
Masaki Saito @rezoolab

ベイズ統計的にはモデルが物理的に正しいかどうかは重要でない.真の分布とのKL距離が近ければそれで良い.一方,物理的妥当性については,いかにKL距離が近かろうと,物理現象を正しく追っているモデルでなければ意味が無い.工学的な妥当性については,精度が高くてロバストであれば何でもいい

2013-11-11 21:19:31
Masaki Saito @rezoolab

CVというかML系統はよく工学的妥当性ばかりに目がいくけど,残り2つの妥当性も大事だよねという話でした

2013-11-11 21:22:24
お好み焼き @jellied_unagi

たぶんモデルの妥当性は「何に関して妥当か」という話があって,先のRTの3つはそれぞれ1) データを表現する上で妥当か 2) 理論を説明する上で妥当か 3) タスクを遂行する上で妥当か(パフォーマンスが上がるか)という違いがあるのかなと思った

2013-11-11 21:30:29