TensorFlow 勉強会 (4) #dltfb

やぬすさん / TAKAGI Kensuke @janus_wel

ゴム手袋でいけるのか… #dltfb

E. Nakai @enakai00

ロボットアームの制御にもTensorFlow使うと面白そうですね！#dltfb

すぎゃーん💯 @sugyan

🍺🍕タイム。あと唐揚げ！🐔 #dltfb

やぬすさん / TAKAGI Kensuke @janus_wel

唐揚げアームかわいい #dltfb

千葉工大未ロボ上田研 @uedalaboratory

唐揚げの判別、当研究室も手伝いました。唐揚げを食べて。 #dltfb

江戸川基地局（再稼働中） @nhiro78

#dltfb 二指で確実に掴むのはなかなかむずかしそうですな

大和田 健一 @ohwada

TensorFlow で逆強化学習 ブレインパッド / 太田満久 #dltfb

たけ @ww24

逆教科学習 #dltfb

さるてし🤝 @sarutando

「良い」とは何か、逆強化学習でエキスパートの行動を元に状態の良さを推定する。良さを定量的に定義してエキスパートに似た行動を生成できる。 #dltfb

さるてし🤝 @sarutando

強化学習は報酬を元に戦略を推定するが、逆強化学習は戦略を元に報酬を推定する #dltfb

やぬすさん / TAKAGI Kensuke @janus_wel

これ強化学習 -> 誤差修正を繰り返すわけだから割りと計算量バカにならないのでは #dltfb

江戸川基地局（再稼働中） @nhiro78

#dltfb DQN とは

大和田 健一 @ohwada

TensorFlow で DQN（Deep Q-Network） 中井悦司 #dltfb

大和田 健一 @ohwada

倒立振子で学ぶ DQN (Deep Q Network) qiita.com/ashitani/items… #dltfb

大和田 健一 @ohwada

ITエンジニアのための機械学習理論入門 amazon.co.jp/dp/4774176982/ #dltfb

大和田 健一 @ohwada

TensorFlowで学ぶDQN slideshare.net/enakai/tensorf… #dltfb

t-zochi @rgbten084

トータルで勝ってる(難聴 #dltfb

すぎゃーん💯 @sugyan

.@enakai00 さんの説明、ほんと丁寧で分かりやすく話してくださるのでめっちゃ理解できてる気分になれる #dltfb

やぬすさん / TAKAGI Kensuke @janus_wel

このままだと局所最適に陥る危険はあるやな #dltfb

さるてし🤝 @sarutando

DQNの仕組み、（今の状態、その時の操作、点数、新しい状態）の４つのデータを元に次のアクションを定義する関数を推定する。トータルMAXにするQ関数の存在を仮定して、Qが満たすべき関係式をパラメーターを操作しQ関数を近似的に求める。 #dltfb

やぬすさん / TAKAGI Kensuke @janus_wel

あー、すげえ！ 理想の関数仮定して、それを NN で近似するのか！ #dltfb

さるてし🤝 @sarutando

DQNはデータ収集が難しい、完全なランダムよりも途中経過で得られたQ関数とランダムを適当な割合で混ぜてさらにデータを収集する。 #とのこと なんかバンディットアルゴリズムっぽいな。 #dltfb

すぎゃーん💯 @sugyan

Deep Q-Networkも何か試してみたいな〜とは思っているけど今のところネタが思い浮かばないでいる #dltfb

大和田 健一 @ohwada

倒立振子でDQNにおけるモデルの複雑さと学習内容の関係をちらっと確かめてみた系の話 enakai00.hatenablog.com/entry/2016/05/… #dltfb

さるてし🤝 @sarutando

DQNを囲碁に適用した場合(AlphaGo)、勝敗しかポイントがないので value network という優劣の数値化を行いつつ熟練者同士で競わせ洗練させる ＋ Q関数を盤面ごとに演算している。 #dltfb