モデルフリーとモデルベースの違い
-
- いいね！2
'
@ichipoohmt
新学術にケンカ売ってますかw RT: @AmiHide: Dayanのモデルベース学習の論文を漁っている．モデルベースorモデルフリーという二項対立的な見方はしないほうがいいかもしれない．
2012-05-31 15:43:30
HA
@AmHdt
道具的条件づけや強化学習のようなモデルフリー学習は理論的にシンプルだし，内部モデルを仮定しなくていいから「客観的」にヒトや動物の学習を説明できる．
2012-05-31 15:30:28
HA
@AmHdt
だけど，将来の利益を見越したうえで行動を変えている場合，モデルフリー学習だけで説明するのは困難．そこでモデルベース学習という考え方が出てくる．
2012-05-31 15:34:45
HA
@AmHdt
（訂正）モデルベース学習がどこまで理論化されているのはわからないけど，意図とか気づきとか（意識とか）「高次な」認知処理が行われている可能性を探る意味では，モデルベース学習の実証研究が今後，重要になってくるんだろうな．
2012-05-31 15:43:51
ごんごん
@gongonKS
@AmiHide モデルベースがシミュレートに基づく計画で行動を決めるということはいいんだと思うけど、意図とかきづきとか意識とかとどう関係あるのかわからない。
2012-06-01 07:08:48
HA
@AmHdt
@KazuSamejima 定義の問題もありますが，シミュレートに基づく計画で行動を決めるってところに「意図」が含まれると解釈できるんじゃないかと．気づきと意識については妄想が入っているので，怪しい話になりますが．
2012-06-01 11:18:16
HA
@AmHdt
そうです．報酬によって強化されて行動が引き起こされる（モデルフリー）ならば意図はないですが，mental simulationをしたうえで行動が決まっている（モデルベース）なら，意図があると言えるんじゃないかと． RT @KazuSamejima 計画＝意図ということ？
2012-06-01 12:38:45
ごんごん
@gongonKS
goal directedじゃだめ？やっぱり意図？RT @AmiHide 報酬によって強化されて行動が引き起こされる（モデルフリー）ならば意図はないですが，mental simulationをしたうえで行動が決まっている（モデルベース）なら，意図があると言えるんじゃないかと．
2012-06-01 12:46:03
HA
@AmHdt
@KazuSamejima ぶっちゃけていえば，そのへんはこだわりはないですw 強いて言うならば外から観察したのがgoal-directed，内的にはintentionということじゃないかと．
2012-06-01 12:52:13
ごんごん
@gongonKS
べつにそう呼びたいならそれでもいいんだとおもうけど、意図とか言われると、いろいろ言いたくなる人がでてくるんじゃないかなぁと.でもこれ以上はつっこまない。あとは適切なひとがコメントしてくれるんじゃないかと期待...（と、なげかえす）
2012-06-01 12:51:15
HA
@AmHdt
@KazuSamejima そうですね，ちょっとイージーに使ってしまいました．動物を研究対象としている場合には，とくに気をつけないといけないですね．
2012-06-01 12:55:55
HA
@AmHdt
モデルベースをgoal directed behaviorと言い換えてもいいのだとすると，要は「動物が行動を決めるときに将来のことを考えているかどうか」ってことなんだと暴力的に理解している．
2012-05-31 16:00:53
'
@ichipoohmt
結果の予測がないということ?モデルフリーは。 RT: @AmiHide: これまでの経験だけから今の行動を決めているのがモデルフリー，これから起こることをシミュレートして今の行動を決めているのがモデルベース．
2012-05-31 17:56:34
HA
@AmHdt
@KazuSamejimaさん，答えていただけるでしょうか？ RT @kosukesa モデルベースとモデルフリーについては，俺より適切な人がいるのでコメントは差し控えさせていただきます・・ @ichipoohmt
2012-05-31 18:30:32
HA
@AmHdt
@KazuSamejima モデルフリー学習（強化学習）では予測誤差という言葉を使っていますが，厳密にいうと「予測」ではなく，「過去の結果から計算した価値」なのではないか？と思うんです．
2012-05-31 18:33:36
'
@ichipoohmt
たすけてー、新宿ざめ―。以前にもいろいろご指導いただいたように思うが。 RT: @AmiHide: @ichipoohmt 厳密にいうと「結果の予測」をしていないということになるんじゃないでしょうか．
2012-05-31 18:35:36