"オッカムの剃刀"は深層学習を剃り落とせるか-科学と理解と数理の話-

いんそうさん @insou

今日は、学生さんの「”オッカムの剃刀”に全然同意できない」という意見が面白かった。プレ深層時代の統計学を学んだ我々はシンプルなモデルの正当化に腐心してるけど、ポスト深層世代は要素てんこ盛りのモデルをフィットさせることが可能で、パラダイムの違いがあるんだなという気持ちになる。

いんそうさん @insou

理論解析する上ではシンプル化がまだまだ主流だけど、それは理論の記述に用いる数学がシンプルなものしか扱えないからという事情もあって、どこまで本質なのかはよく分からない。

Ohkubo Yusaku @Ohkubo2021

E. Sober以来、哲学ではAICイコールオッカムの剃刀という理解が浸透し過ぎてしまった? 一方、J. SprengerなどはたぶんAICの導出過程を追っていて、「オッカムの剃刀の正当化」というほど強い主張は引き出せない、とする立場にみえる

Ohkubo Yusaku @Ohkubo2021

(BIC（周辺尤度のラフな近似）の場合、「尤度の大きさは頂点の近傍で急速に悪化する」という仮定で最尤推定値でのFisher情報量を測り、パラメータの数を使ったオッカムの剃刀を導出した。しかし深層学習の場合は、最尤推定値からズレてもそこまで尤度が悪化しない・・・？)

Daichi Konno / 紺野 大地 @_daichikonno

「科学と理解」について"Direct Fit"という新たなパラダイムを提案している論文。 これまでは少ない変数で現象をモデル化することが良しとされてきた(Ideal Fit)が、十分なデータ量が担保されれば人間による事前の仮定なしに高精度のモデル化ができると主張している。(続く) cell.com/neuron/pdf/S08… pic.twitter.com/3HOrmgXcvv

拡大

Daichi Konno / 紺野 大地 @_daichikonno

これまで科学者が目指してきた"Ideal Fit" →「限られた条件でのみ成立するモデル」を「その他の条件へと一般化(外挿, Extrapolate)すること」が目標 "Direct Fit"→大量のデータでもって扱うデータ空間をほぼ網羅するモデルを作れれば、内挿(Interpolate)の問題へと帰着できる という主張。(続く)

Daichi Konno / 紺野 大地 @_daichikonno

・Direct Fitで構築されたモデルは人間には理解できない可能性が高いが、それの何が悪いのか ・モデルが人間に解釈可能なルールを学習しなければならないというのは、人間のエゴではないのか と筆者らは主張しており、「科学の目的は世界のモデル化」と考える自分としてはこの考えに大賛成。(おわり)

Daichi Konno / 紺野 大地 @_daichikonno

「科学と理解」について昨日の議論で出た話。 「マクスウェル方程式は4つの式からなるが、ゲージ場という概念を導入することで1つの式で表せるようになる」 という事実に対し、「だったら1つにまとめた方が良い」派と、「必ずしも情報を縮約する必要はないのでは」派に分かれた。(1/4)

Daichi Konno / 紺野 大地 @_daichikonno

私は「科学の目的は世界の記述」と考えており、「少パラメータよりも世界を精度良く記述できるならパラメータがいくら多くても構わない」派。 ここで出た疑問は 「精度が同じ場合に、なるべく情報を縮約した方が良いのか」という点。 「縮約できるならした方が良い」と最初は直観的に考えた。(2/4)

Daichi Konno / 紺野 大地 @_daichikonno

だが次第に、 「同じことを言うなら情報を縮約した方が良い」 という考え自体が、人間の認知限界を反映している思考ではないかと考えた。 一晩寝て、 「世界の記述」だけを最終目的とするならば、 「記述の精度が同じならば、情報を縮約する必要はない」 と考えるようになった。(3/4)

Daichi Konno / 紺野 大地 @_daichikonno

一方で、 「情報を縮約した方が美しい」と感じたのも確かで、 これは「精度良く世界の記述ができるなら理解を犠牲にしても良い派」の自分にも、「理解を追い求める科学者としての心」が(当然ながら)あるのだな、などと考えました。(おわり)

Daichi Konno / 紺野 大地 @_daichikonno

追記：しばらくは科学を進歩させるのは人間の役目だと思うので、その間は「情報を縮約させること」は極めて重要だと考えています。

Daichi Konno / 紺野 大地 @_daichikonno

さらに追記：「情報を縮約することはノイズを減らすことにつながり、結果的に世界の本質をより捉えることができるのではないか」という意見もありました。

R. Maruyama @rmaruy

@Daichi__Konno Direct fit論文はじめ一連のご議論、興味深く拝見しています。実は今、動画制作の試みの題材として、「科学と理解」について、既存の議論の紹介と自分の意見をまとめた動画をつくろうと考えています…。できたらお見せしますので、昨日の議論なども踏まえてご意見いただければ幸いです。

Daichi Konno / 紺野 大地 @_daichikonno

@rmaruy 大変恐縮です汗 こちらこそいつも丸山さんのご意見や議論からとても刺激をいただいています。 動画、とても楽しみにさせていただきます！

R. Maruyama @rmaruy

@Daichi__Konno @Daichi__Konno さん、動画ができました。もしよろしければご笑覧ください。ただ、皆さんのご議論の「入口」にたどり着いたにすぎない内容かとは思いますが、何らかの思考の糧になれば幸いです。youtube.com/watch?v=7Y-VCN…

拡大

Daichi Konno / 紺野 大地 @_daichikonno

@rmaruy ありがとうございます。早速拝見させていただきました！ 以下、動画を見た個人的な感想です。 まず、「統一説」や「因果・メカニズム説」、「文脈依存説」という科学哲学の大前提を恥ずかしながら存じ上げなかったので、大変勉強になりました！(1/4)

Daichi Konno / 紺野 大地 @_daichikonno

@rmaruy 呉羽先生、久木田先生の「科学の本来の目的は現象の理解」という意見は、(あくまで個人的には)必ずしも賛同していません。 今までは「現象の理解」と「現象のモデル化」が両立していましたが、今後人類を超える知性が科学の進歩を牽引するようになると、この2つが乖離していくと考えてます。(2/4)

Daichi Konno / 紺野 大地 @_daichikonno

@rmaruy 「『理解』で科学は進む」という丸山さんの主張は私にとって新しい考え方でしたし、同意します。 私は(も)「しばらくは人間が科学の進歩を牽引する」と考えているので、深層学習をうまく利用することで人間の理解が進み、新たな未知が生まれるという意見は新鮮でとても納得しました。(3/4)

Daichi Konno / 紺野 大地 @_daichikonno

@rmaruy そしていずれ人類を超える知性が誕生した後は、科学の進歩のほぼ全てを新たな知性が牽引する事になり、丸山さんが仰る「阻害された科学」が進んでいくのかな、というのが私の意見です。 動画をご紹介いただきとてもうれしかったです！ 他の方にも色々意見いただけると嬉しいですね！(4/4)

R. Maruyama @rmaruy

@Daichi__Konno さっそくコメントいただいて、ありがとうございます！　私も今日、先日の議論のyoutube配信をフルで拝聴し、楽しませていただきました。意見は人ごとに違うにせよ、「理解とは？」を問うというのは大事だし面白いですね。

R. Maruyama @rmaruy

@Daichi__Konno 科学哲学については、もっぱらde Regt著に依拠しています。rmaruy.hatenablog.com/entry/2019/09/…　de Regt氏いわく科学哲学では「理解」はあまり着目されてこなかったらしく、統一説、メカニズム説なども広く共有されているわけではないかもしれません。

Daichi Konno / 紺野 大地 @_daichikonno

@rmaruy ありがとうございます、参考にさせていただきます！ あの動画をフルで聞く方がいらっしゃるとは思っていなかったので、逆に恐縮な思いです...笑 また色々とお話しさせていただければ嬉しいです！