SHIBUYA Synapse #2

なっつー@BNUT @yashinut

時系列は過去のデータを保存すれば扱えるが、見えないものは学習できない #shibuya_synapse

なっつー@BNUT @yashinut

ゲーム木（全ゲーム展開構造）がない状態で学習ができないか。 #shibuya_synapse

詩音 @sionff

Shibuya Synapse #2聴きにきてる。今日のお題は強化学習とゲームAI。難しいと言われる強化学習だけれど、要約するとつまりは「パブロフの犬」ということみたい。肝は適正な条件付けと報酬。未経験の事柄に対して報酬を設けることで「好奇心」を獲得するというのは目からウロコ。 pic.twitter.com/tmRJd4vOWQ

拡大

なっつー@BNUT @yashinut

続いて HEROZの大渡さんから将棋プログラムPonanzaにおける強化学習とディープラーニングの応用 #shibuya_synapse

なっつー@BNUT @yashinut

大学院生時代に過去12種類のゲームAI大会に参加した。いっぱい賞もらった。 #shibuya_synapse

mao🐑 @TEST_H_

SHIBUYA SYNAPSEのTL追ってる。 いつものことながら実況に感謝🙇

m @crcrpar

おおとさんの賞状の多さ毎回ビビる #SHIBUYA_SYNAPSE

なっつー@BNUT @yashinut

現在の将棋プログラムはミニマックス法ベースのアルゴリズムが多い。 #shibuya_synapse

詩音 @sionff

今度はPonanzaの話。完全情報ゲームだから基本は木探索、だけどコストを出来るだけ削減したいよね、で画像のような考え方になる。納得。 pic.twitter.com/QOHqfSic0a

拡大

詩音 @sionff

やっぱりCNNなのね……。9×9の画像として認識させるんだって。 pic.twitter.com/vJq4HwpJ5u

拡大

なっつー@BNUT @yashinut

駒の種類ごとに色を決めて9×9の画像データとして棋譜を読む。 #shibuya_synapse

ばんくし王 @vaaaaanquish

Ponanza、GPU1枚でやったモデルなのマジ… #shibuya_synapse

keno @keno_ss

Ponanza は 9x9x86 で 12 層 256 フィルタ. プレイヤー x チャネル(盤上の駒の種類 + 持ち駒) #shibuya_synapse

keno @keno_ss

ちょっと聴き逃した気がするけど, 5000局面/秒 だったかな? #shibuya_synapse

keno @keno_ss

詰みに繋がる駒の配置パターンがノイズになるので, ある程度間引いている. 25%〜75%の結果以外は学習しないと言われてたけど, NN 側の出力がそこに入ってない場合は妥当じゃないと見做して親の探索側で弾いてるってことかな? #shibuya_synapse

keno @keno_ss

1探索パス毎に NN 側への依頼は一回までと言われてたけど, ノード毎(局面毎)にやらないのは何でだろう? #shibuya_synapse

詩音 @sionff

今回の講演のスライド公開してくれたらいいなー。後でゆっくり読み返したい。講演者の方のレベルが高くてかつ話が分かりやすくてかなり満足度高い。

keno @keno_ss

NN 側で 99.9 % みたいな結果が出たときは親探索側の探索を打ち切ってそれを選ぶという話で 2四歩の例が出てきたけど, 序盤って定石どれくらい使っているんだろう? #shibuya_synapse

ばんくし王 @vaaaaanquish

大人子どもの概念理解できないまま終わった… #shibuya_synapse

keno @keno_ss

質疑応答. 上位プログラムは人間が手を加えた序盤戦略を組み込んでいるという話が出た. #shibuya_synapse

詩音 @sionff

ハッシュタグみっけ。皆様勉強熱心で刺激になるなぁ。 #shibuya_synapse

なっつー@BNUT @yashinut

最後はDeNAの奥村さん ゲーム体験を支える強化学習の実応用について #shibuya_synapse

Katsuki Ohto @ ゲームAI10個のタイトルを獲る @kohto_ai

発表終了。皆さまありがとうございました！　#shibuya_synapse

なっつー@BNUT @yashinut

ゲームはシミュレーション環境がつくれるので、強化学習の研究に向いてるのでは #shibuya_synapse

ばんくし王 @vaaaaanquish

逆転オセロニアはじめてきいた #shibuya_synapse