モデルフリーとモデルベースの違い
新学術にケンカ売ってますかw RT: @AmiHide: Dayanのモデルベース学習の論文を漁っている.モデルベースorモデルフリーという二項対立的な見方はしないほうがいいかもしれない.
2012-05-31 15:43:30道具的条件づけや強化学習のようなモデルフリー学習は理論的にシンプルだし,内部モデルを仮定しなくていいから「客観的」にヒトや動物の学習を説明できる.
2012-05-31 15:30:28だけど,将来の利益を見越したうえで行動を変えている場合,モデルフリー学習だけで説明するのは困難.そこでモデルベース学習という考え方が出てくる.
2012-05-31 15:34:45(訂正)モデルベース学習がどこまで理論化されているのはわからないけど,意図とか気づきとか(意識とか)「高次な」認知処理が行われている可能性を探る意味では,モデルベース学習の実証研究が今後,重要になってくるんだろうな.
2012-05-31 15:43:51@AmiHide モデルベースがシミュレートに基づく計画で行動を決めるということはいいんだと思うけど、意図とかきづきとか意識とかとどう関係あるのかわからない。
2012-06-01 07:08:48@KazuSamejima 定義の問題もありますが,シミュレートに基づく計画で行動を決めるってところに「意図」が含まれると解釈できるんじゃないかと.気づきと意識については妄想が入っているので,怪しい話になりますが.
2012-06-01 11:18:16そうです.報酬によって強化されて行動が引き起こされる(モデルフリー)ならば意図はないですが,mental simulationをしたうえで行動が決まっている(モデルベース)なら,意図があると言えるんじゃないかと. RT @KazuSamejima 計画=意図ということ?
2012-06-01 12:38:45goal directedじゃだめ?やっぱり意図?RT @AmiHide 報酬によって強化されて行動が引き起こされる(モデルフリー)ならば意図はないですが,mental simulationをしたうえで行動が決まっている(モデルベース)なら,意図があると言えるんじゃないかと.
2012-06-01 12:46:03@KazuSamejima ぶっちゃけていえば,そのへんはこだわりはないですw 強いて言うならば外から観察したのがgoal-directed,内的にはintentionということじゃないかと.
2012-06-01 12:52:13べつにそう呼びたいならそれでもいいんだとおもうけど、意図とか言われると、いろいろ言いたくなる人がでてくるんじゃないかなぁと.でもこれ以上はつっこまない。あとは適切なひとがコメントしてくれるんじゃないかと期待...(と、なげかえす)
2012-06-01 12:51:15@KazuSamejima そうですね,ちょっとイージーに使ってしまいました.動物を研究対象としている場合には,とくに気をつけないといけないですね.
2012-06-01 12:55:55モデルベースをgoal directed behaviorと言い換えてもいいのだとすると,要は「動物が行動を決めるときに将来のことを考えているかどうか」ってことなんだと暴力的に理解している.
2012-05-31 16:00:53結果の予測がないということ?モデルフリーは。 RT: @AmiHide: これまでの経験だけから今の行動を決めているのがモデルフリー,これから起こることをシミュレートして今の行動を決めているのがモデルベース.
2012-05-31 17:56:34@KazuSamejimaさん,答えていただけるでしょうか? RT @kosukesa モデルベースとモデルフリーについては,俺より適切な人がいるのでコメントは差し控えさせていただきます・・ @ichipoohmt
2012-05-31 18:30:32@KazuSamejima モデルフリー学習(強化学習)では予測誤差という言葉を使っていますが,厳密にいうと「予測」ではなく,「過去の結果から計算した価値」なのではないか?と思うんです.
2012-05-31 18:33:36たすけてー、新宿ざめ―。以前にもいろいろご指導いただいたように思うが。 RT: @AmiHide: @ichipoohmt 厳密にいうと「結果の予測」をしていないということになるんじゃないでしょうか.
2012-05-31 18:35:36