Shibuya Synapse第3回「現在の強化学習に何が足りないのか？」まとめ
-
- いいね！10
ｾｸｽｨ・ナカナカピエロ
@NakanakaPierrot
参加します。 Shibuya Synapse #3 connpass.com/event/89138/ #shibuya_synapse
2018-06-23 09:35:20
tomo-makes | 技術書典「機械学習の炊いたん８。」
@tomo_makes
今日は shibuya.ai/info/03/ に強化学習の話を聞きに行く。網羅的に取りあげたものを吸収できるのは初めてで、ほんと楽しみ! #shibuya_synapse
2018-06-23 10:08:01
prototechno
@prototechno
#メディア芸術祭 #PaintsChainer 展示は ＃AR でカッコ良かった! DeNAの強化学習に向かう～ #shibuya_synapse pic.twitter.com/RCzZFzYH2Q
2018-06-23 12:51:25
拡大
拡大
Koichi Hamada
@hamadakoichi
本日、第3回 Shibuya Synapse『現在の強化学習に何が足りないのか？』開催。高度な自律AIを目指した次世代強化学習に必要な要素(目的の階層化、高次行動・計画の自律獲得、認知科学知見の取り入れ等)や実応用に関する議論。お菓子や飲み物もあります。ぜひ。shibuya.ai/info/03/ #shibuya_synapse pic.twitter.com/UqB6F1IG91
2018-06-23 13:28:56
拡大
Siena.
@n_siena
「Shibuya Synapse #3」<connpass.com/event/89138/> に到着。開始が遅れるほど受付が長蛇の列だった ><; スタッフのみなさんたいへん。 #shibuya_synapse
2018-06-23 13:43:00
Siena.
@n_siena
電源とWiFiの提供があってとても嬉しい。 が、WiFiのユーザ認証が出てこなくて使えないので、仕方なく自前でテザリングしてる。 #shibuya_synapse
2018-06-23 13:46:15
Siena.
@n_siena
ぎゅっと凝縮されたサマリをはしょりながら説明いただいている。情報量誤甥のでメモ取る余裕ない。 ということで。connpass に置いておいていただいた資料のURIだけメモっておく。 <slideshare.net/yukono1/ss-102…> #shibuya_synapse
2018-06-23 14:01:04
Jun Ernesto Okumura
@pacocat
多様な強化学習の概念と課題認識 slideshare.net/yukono1/ss-102… 強化学習の分散アーキテクチャ変遷 slideshare.net/eratostennis/s… DQNからRainbowまで 〜深層強化学習の最新動向〜 slideshare.net/juneokumura/dq… #shibuya_synapse
2018-06-23 14:21:39
Siena.
@n_siena
「報酬設計と強化学習」(中田氏) 「報酬の与え方は人が設計・定義する。報酬が疎(スパース)な場合に、学習が進まないという問題。例えば、本来の会に辿り着かずに局所解にはまり込んでしまう。 #shibuya_synapse
2018-06-23 14:25:41
Siena.
@n_siena
「意図しない方策の学習を防げる報酬設計を試行錯誤する前に。 報酬設計が容易なら強化学習を適用可能。 それが困難でも、設計者が解ける問題なら、逆強化学習でその解き方から報酬を推定できる。 #shibuya_synapse
2018-06-23 14:28:14
Hidenori Matsuki
@mazgi
ボートレースの動画これかな #shibuya_synapse youtube.com/watch?v=tlOIHk…
2018-06-23 14:28:26
Jun Ernesto Okumura
@pacocat
空調強くしました。暑い寒いなどありましたら教えてくださいませ。 #shibuya_synapse twitter.com/tetsuroito/sta…
2018-06-23 14:29:58
Siena.
@n_siena
「逆強化学習でなく教師あり学習でもよいのではないか。 → 必ずしもそうではなく、使える前提やデータ、介入などの条件が揃っていないと、教師あり学習を適用できない場合がある。 #shibuya_synapse
2018-06-23 14:32:56
Siena.
@n_siena
「多人数ゲームにおける強化学習」(河村氏) 「一人ゲームは、エージェントの行動方策のみを変数として累積報酬を最大化するだけ。 多人数ゲームは、他のエージェントの行動方策の考慮も必要だし、報酬の最大化が定まらないこともある。 →ナッシュ均衡戦略 #shibuya_synapse
2018-06-23 14:39:31
須山敦志 Suyama Atsushi
@sammy_suyama
逆強化学習は、エキスパートのデモンストレーションも明示的な報酬も、利用可能であればどちらも自然に組み込めるような統一的なフレームワークがあると良さそうな気がします。 #shibuya_synapse
2018-06-23 14:40:48
Siena.
@n_siena
「課題。 状態遷移の未知性: 次の状態が計算可能でなければならない。 収束性: 収束すればナッシュ均衡に落ちるが、そもそも収束しないかもしれない。 不完全情報性: 相手の状況の全ては見えない。 比零和性: ナッシュ均衡戦略が最良とは限らなくなる。 #shibuya_synapse
2018-06-23 14:46:31
Siena.
@n_siena
「認知科学からの視点：満足化によるエミュレーションと，判定問題としての強化学習」(高橋氏) 「認知科学は、「心を情報処理機械と見なし、その情報表現と推論を解明するもの」。 #shibuya_synapse
2018-06-23 15:05:50