2月4日　第44回　コンピュータビジョン勉強会＠関東　まとめ

お好み焼き @jellied_unagi

モデルの初期化が違うと出てくるモデルが大きくことなってしまうこともある．最終的に収束するという保証もない，探索・活用のスケジューリング（ハイパラ）が重要？ #cvsaisentan

Minagawa Takuya @takmin

@kantocv 学習に時間がかかる。かならず収束するとは限らない。初期パラメータで学習結果のばらつきが大きい。 #cvsaisentan

Aki Teshima 「OpenCVデバッグ探偵記」BOOTHで販売中 @tomoaki_teshima

@kantocv #cvsaisentan 汎化の問題：あるゲームで好成績を取ったからと言って、そのパラメータを別のゲームに適用してうまく行くとは限らない。ゲームごとに探索する必要がある。

t2kasa @__t2kasa__

強化学習は教師信号を必要としないが、相当数の探索・利用を繰り返す。汎化も難しくゲーム毎に学習させる。 #cvsaisentan

Aki Teshima 「OpenCVデバッグ探偵記」BOOTHで販売中 @tomoaki_teshima

@kantocv #cvsaisentan ベルマン方程式。価値観数に成り立つ再帰的な関係式。確かに価値観数は再帰的に書き表せる。

Aki Teshima 「OpenCVデバッグ探偵記」BOOTHで販売中 @tomoaki_teshima

@kantocv #cvsaisentan 最適なすべての状態すべてを更新するのが、動的計画法。有望な状態を展開し、末端の状態の価値関数をシミュレーションで推定するのがモンテカルロ木探索、サンプリングした状態で平均的に成り立つように更新するのがQ学習。

あるふ @alfredplpl

要するにDQNはQ学習の行動価値関数QをCNNで近似するだけ。発想はシンプル。 #cvsaisentan

Aki Teshima 「OpenCVデバッグ探偵記」BOOTHで販売中 @tomoaki_teshima

@kantocv #cvsaisentan 関数の近似が入ると収束の保証は困難。

Minagawa Takuya @takmin

@kantocv 前処理が学習にとっても影響する #cvsaisentan

お好み焼き @jellied_unagi

Fitted Q（2005年）も経験再生（1993年）も，それ自体は結構前からある話っぽい #cvsaisentan

Aki Teshima 「OpenCVデバッグ探偵記」BOOTHで販売中 @tomoaki_teshima

@kantocv #cvsaisentan 状態遷移は価値関数に関係なく経験再生で使いまわせる。（方策によらずに状態の情報を使いまわせる）

Minagawa Takuya @takmin

@kantocv 経験再生自体は、状態と行動に依存し環境ごとに固定のため、その時のパラメータには依存しない #cvsaisentan

Minagawa Takuya @takmin

「AIがゲームやって俺たちは仕事している！」 #cvsaisentan

Aki Teshima 「OpenCVデバッグ探偵記」BOOTHで販売中 @tomoaki_teshima

@kantocv #cvsaisentan 理想：AIが仕事して、研究者はゲームをして過ごす。 現実：一生懸命研究者が仕事して、AI様にゲームをしてもらう。

おさかなさん @sakanazensen

俺たちが仕事してAI様にゲームやらせてるﾜﾛﾀｗ #cvsaisentan

ymats @ymats_

AIに仕事をさせて自分は遊んで暮らそうと思ってたのに、今では自分が仕事してAI様にゲームしてもらってる #cvsaisentan

たけうま @_takeuma_

強化学習研究者のお言葉 AIに仕事させて自分はゲームしようと思ったのに、 俺たちが仕事をしてAI様がゲームしてる #cvsaisentan

Aki Teshima 「OpenCVデバッグ探偵記」BOOTHで販売中 @tomoaki_teshima

@kantocv #cvsaisentan Prioritized experience replay と、 Multi-step learning、Distributional RL は特に重要そう。

おさかなさん @sakanazensen

2億フレーム…！ #cvsaisentan

Aki Teshima 「OpenCVデバッグ探偵記」BOOTHで販売中 @tomoaki_teshima

@kantocv #cvsaisentan 方策ベースは、目的関数を微分して勾配を求める。しかし、目的関数がそもそも未知なのに、どうやって勾配をもとめるのか？

Aki Teshima 「OpenCVデバッグ探偵記」BOOTHで販売中 @tomoaki_teshima

@kantocv #cvsaisentan 評価関数が未知でも、確率的にサンプルが得られれば勾配は計算可能。

無駄にツイッターIDが長い人 @ChaoticActivity

rainbowということは、もしやdeep purpleとかもあるのか？（実際にありそうな名前だ） #cvsaisentan

Aki Teshima 「OpenCVデバッグ探偵記」BOOTHで販売中 @tomoaki_teshima

@kantocv #cvsaisentan みんな大好きATARIゲーム。

Minagawa Takuya @takmin

A3Cは方策ベースだったのか。 #cvsaisentan

Aki Teshima 「OpenCVデバッグ探偵記」BOOTHで販売中 @tomoaki_teshima

@kantocv #cvsaisentan このヘンテコな歩き方してる動画見たことある。