限定公開でまとめを作れば、相互フォローやフォロワー限定でまとめを共有できます!

モデルフリーとモデルベースの違い

自分の勉強用にまとめておきました。 モデルフリー学習とモデルベース学習というのは数理的・工学的に考案された学習モデルですが、動物や人間の学習を理解するうえでも用いられています。 自分の理解が間違っていたり、不足していた部分をKazuSamejima先生に補足・訂正していただきました。 この場を借りてお礼をしておきます。
科学 強化学習 価値
7700view 0コメント
7
HA @AmHdt
Dayanのモデルベース学習の論文を漁っている.モデルベースorモデルフリーという二項対立的な見方はしないほうがいいかもしれない.
⁩⁩' @ichipoohmt
新学術にケンカ売ってますかw RT: @AmiHide: Dayanのモデルベース学習の論文を漁っている.モデルベースorモデルフリーという二項対立的な見方はしないほうがいいかもしれない.
HA @AmHdt
@ichipoohmt ハイブリッドってことでFA
ごん @gongon2018
@ichipoohmt @AmiHideけんかって、そんなことないと思います。どっちかってーと並列というのがいいんじゃないかと。
HA @AmHdt
道具的条件づけや強化学習のようなモデルフリー学習は理論的にシンプルだし,内部モデルを仮定しなくていいから「客観的」にヒトや動物の学習を説明できる.
HA @AmHdt
だけど,将来の利益を見越したうえで行動を変えている場合,モデルフリー学習だけで説明するのは困難.そこでモデルベース学習という考え方が出てくる.
HA @AmHdt
(訂正)モデルベース学習がどこまで理論化されているのはわからないけど,意図とか気づきとか(意識とか)「高次な」認知処理が行われている可能性を探る意味では,モデルベース学習の実証研究が今後,重要になってくるんだろうな.
ごん @gongon2018
@AmiHide モデルベースがシミュレートに基づく計画で行動を決めるということはいいんだと思うけど、意図とかきづきとか意識とかとどう関係あるのかわからない。
HA @AmHdt
@KazuSamejima 定義の問題もありますが,シミュレートに基づく計画で行動を決めるってところに「意図」が含まれると解釈できるんじゃないかと.気づきと意識については妄想が入っているので,怪しい話になりますが.
ごん @gongon2018
@AmiHide 計画=意図ということ?
HA @AmHdt
そうです.報酬によって強化されて行動が引き起こされる(モデルフリー)ならば意図はないですが,mental simulationをしたうえで行動が決まっている(モデルベース)なら,意図があると言えるんじゃないかと. RT @KazuSamejima 計画=意図ということ?
ごん @gongon2018
goal directedじゃだめ?やっぱり意図?RT @AmiHide 報酬によって強化されて行動が引き起こされる(モデルフリー)ならば意図はないですが,mental simulationをしたうえで行動が決まっている(モデルベース)なら,意図があると言えるんじゃないかと.
HA @AmHdt
@KazuSamejima ぶっちゃけていえば,そのへんはこだわりはないですw 強いて言うならば外から観察したのがgoal-directed,内的にはintentionということじゃないかと.
ごん @gongon2018
べつにそう呼びたいならそれでもいいんだとおもうけど、意図とか言われると、いろいろ言いたくなる人がでてくるんじゃないかなぁと.でもこれ以上はつっこまない。あとは適切なひとがコメントしてくれるんじゃないかと期待...(と、なげかえす)
HA @AmHdt
@KazuSamejima そうですね,ちょっとイージーに使ってしまいました.動物を研究対象としている場合には,とくに気をつけないといけないですね.
HA @AmHdt
@KazuSamejima まさしく擬人www・・・おや,誰か来たようだ・・・
HA @AmHdt
モデルベースをgoal directed behaviorと言い換えてもいいのだとすると,要は「動物が行動を決めるときに将来のことを考えているかどうか」ってことなんだと暴力的に理解している.
HA @AmHdt
これまでの経験だけから今の行動を決めているのがモデルフリー,これから起こることをシミュレートして今の行動を決めているのがモデルベース.
⁩⁩' @ichipoohmt
結果の予測がないということ?モデルフリーは。 RT: @AmiHide: これまでの経験だけから今の行動を決めているのがモデルフリー,これから起こることをシミュレートして今の行動を決めているのがモデルベース.
HA @AmHdt
@ichipoohmt 厳密にいうと「結果の予測」をしていないということになるんじゃないでしょうか.
HA @AmHdt
@KazuSamejimaさん,答えていただけるでしょうか? RT @kosukesa モデルベースとモデルフリーについては,俺より適切な人がいるのでコメントは差し控えさせていただきます・・ @ichipoohmt
HA @AmHdt
@KazuSamejima モデルフリー学習(強化学習)では予測誤差という言葉を使っていますが,厳密にいうと「予測」ではなく,「過去の結果から計算した価値」なのではないか?と思うんです.
⁩⁩' @ichipoohmt
たすけてー、新宿ざめ―。以前にもいろいろご指導いただいたように思うが。 RT: @AmiHide: @ichipoohmt 厳密にいうと「結果の予測」をしていないということになるんじゃないでしょうか.
ごん @gongon2018
@AmiHide そうかなぁ?...モデルベースだって言い方を変えれば、過去の経験に基づいてもでモデルつくってる。
残りを読む(22)
ログインして広告を非表示にする