機械学習とベイズ推論、モデルの妥当性について

Masaki Saito @rezoolab

ベイズ推論ぜんぜん分からん

Masaki Hayashi @payashim

@rezoolab えっ

Masaki Saito @rezoolab

@payashim 分かっていたつもりでしたけどやっぱり全然分かっていませんでした

Masaki Hayashi @payashim

@rezoolab おお、グラフ構造が無いと、確率を伝播させられない感じですか？でもランダムウォークとかならすぐに身に付けられそうな気がしますが。

Masaki Saito @rezoolab

@payashim 具体的には，グラフィカルモデルの問題を解くための方法論（VB, BP, MCMC, etc...）については分かるのですが，ベイズ統計学の分野に関する知識(汎化損失，自由エネルギー，etc...)が殆ど無いのでその繋がりがよく分からず困っているのです…

Masaki Hayashi @payashim

@rezoolab なるほど。いや、さすがに基本的なところではつまづかれてないと思ったので安心しましたが、おっしゃってるあたりはML専業のベイジアン研究者でないと、なかなか詳しい方はいないでしょうし、大変ですね。

Masaki Saito @rezoolab

@payashim 機械学習は良い結果が出ればそれで良くて，それが本当に正しいモデルなのかは考慮されませんが，ベイズ統計論の場合はそこを厳密にやって，WAICなどの各種基準量基準を導出しています．解くための方法は分かりますがモデルの妥当性を調べるための方法が分かっていないのです

Masaki Saito @rezoolab

@payashim ありがとうございます．使っている道具は同じなのに分野が違うと本当によく分からないのです．渡邉本を読んでいるのですがなかなか厳しいです．日々勉強です

Masaki Hayashi @payashim

@rezoolab 礼にはおよばないと思いますけど、応用先勝負の自分は統計数理的なところまで攻めれる力はないので、いつもすごいなあと思います。

Masaki Hayashi @payashim

@rezoolab モデルの妥当性の話ですけど、道具としてMLやってる自分的にも「本当にそれが正しいモデル化は考慮されなくて、（あるデータセットに交差検定によりベストフィットした）モデルによって正伊能が上がればよしとする」という傾向には疑問を感じるときがままあります

Masaki Hayashi @payashim

@rezoolab そもそも、ML的にも「モデルが妥当とは」というのはすごい難しい話ですよね。それがベイズ統計となると数理統計的な検証の話になっていくので、私はもうついていくのは無理です　笑

Masaki Hayashi @payashim

性能と書こうとしたのに、正伊能という誤変換したのやばいな。。

お好み焼き @jellied_unagi

@payashim @rezoolab 面白い話ですね．ちなみにsaliency界隈だと，視覚心理の知見を説明できるかという点でモデルの妥当性を見ることもあります．

Masaki Saito @rezoolab

@payashim MLだと物理的に全く正しくないモデルを仮定することから議論を進めていますので，正しいモデルかどうかを聞くこと自体ナンセンスであることが多いのですが，それでも特定の分野－現象を物理的に捉えることで問題を解く分野－に関してはきちんと考慮する必要があるように思えます

Masaki Saito @rezoolab

@jellied_unagi @payashim なるほど．寡聞にして「視覚心理の知見」というのを具体的に想像することはできないのですが，それもある一つの物理現象から生まれた知見であるとすれば，これも「現象を物理的に捉えることで問題を解く分野」に当たるのではと思いました

Masaki Hayashi @payashim

@rezoolab @jellied_unagi 君が帰ったあとでレセプションでのTalkで、ニュートンを例にビッグデータから新しい理論(モデル)を編み出すのと、それとも自然科学の理論（モデル）をデータにあてはめてしまうのと、どっちがいつに良いかの議論ありました。

お好み焼き @jellied_unagi

@rezoolab @payashim まさしくその通りだと思います

Masaki Hayashi @payashim

@rezoolab @jellied_unagi ACPRの話です　> レセプション

Masaki Hayashi @payashim

@rezoolab @jellied_unagi コンピュータサイエンス以前からも、自然科学モデルが先かデータをうまく扱える（新）モデルが先かの議論があるということなので、今のITの時代にはどっちがベストプラクティスなのかの判断にはセンスを試されると思います。

お好み焼き @jellied_unagi

@payashim @rezoolab 辻井先生ですよね．あれ聞きたかった…既存の理論からスタートしつつ，データを観測することでそれをアップデートできると面白いですよね

Masaki Saito @rezoolab

@payashim @jellied_unagi これ難しい問題ですね．Deep Learningの人達はデータ駆動で問題を解こうとしていますが，現状データから物理法則を演繹してくれるわけではない．現在自然科学モデルとデータ駆動型の両方を取り入れるのが流行りになってる感あります

お好み焼き @jellied_unagi

@payashim @rezoolab たとえば最近手を出している学習ベース顕著性の話は，視覚探索に有効な特徴を抽出しつつ，それを機械学習で重み付けする（従来は重みをトップダウンに決めていた）という点で，ある種理論をデータでアップデートするという見方もできて，面白いです

Masaki Hayashi @payashim

@rezoolab そちらのラボの質感の話ではランキング学習による主観ラベルの話もあるので、更にもう一枚話がややこしいですよね。うちのラボは人物認識が大きなターゲットなのでいつもこの話難しく感じています。　@jellied_unagi

Masaki Saito @rezoolab

@jellied_unagi @payashim 顕著性に関しては，いくら視覚探索が視覚野などの神経学的知見を元にしていると言っても最終的な重み付けが脳内のブラックボックスに投げている辺り，そこは脳が完全に理解されない限り機械学習でやる他ないので，その方向性は妥当だと感じます

Masaki Saito @rezoolab

モデルの妥当性の話．少なくとも3種類の議論がある．1つ目は「ベイズ統計学的に妥当であるか」，2つ目は「物理現象的に妥当であるか」，3つ目は「実用的に妥当的な精度を出してくれるか」