【超満員】機械学習技術ベンチャー・PFNリサーチャーによる招待講演 "確率的ニューラルネットの学習とChainerによる実装" #pyconjp #pyconjp_205
-
- いいね！0
Yusuke KUNO / Done is better than perfect.
@KUNOYusuke
#pyconjp_205 得居さんのセッション、小さい部屋でやるとかありえないだろーと思っていたら、案の定溢れてたね。
2016-09-21 16:31:45
Yusuke KUNO / Done is better than perfect.
@KUNOYusuke
#pyconjp_205 ちなみに大部屋はスカスカですよー
2016-09-21 16:32:34
Yusuke KUNO / Done is better than perfect.
@KUNOYusuke
φ(..) twitter.com/yutakashino/st…
2016-09-21 16:33:43
Yuta Kashino
@yutakashino
PyConJP2016のトーク「週末サイエンティストのススメ」の資料を用意しました．リンク集: github.com/bakfoo/awesome… スライド：slideshare.net/yutakashino/py… 事例等: github.com/bakfoo/pyconjp… #PyConJP
2016-09-21 16:32:04
夜道
@yomichi_137
確率ユニット：入力として与えられた変数から作られる確率分布（例えば入力2つを平均と分散とする正規分布）を使って出力を生成するユニット #pyconjp #pyconjp_205
2016-09-21 16:37:25
Keita
@KeitaW09
確率的ユニット = 確率分布のパラメタふつーのユニットを学習して，そこからサンプリング #pyconjp #pyconjp_205
2016-09-21 16:40:10
夜道
@yomichi_137
微分がうまく定義できないとか、学習で目指すコスト関数が確率的でしか出ないので期待値を最小化したいが、しかし連続分布では出力が原理的に無限なので期待値は近似的にしか求まらない #pyconjp #pyconjp_205
2016-09-21 16:46:03
夜道
@yomichi_137
sampling しながらforward prop をして、loss (コスト)を計算し、loss 関数の大きさに応じてそのsampling のでやすさを下げていく #pyconjp #pyconjp_205
2016-09-21 16:48:12
夜道
@yomichi_137
(Histogram method とかWang Landau に近いものを感じる) #pyconjp #pyconjp_205
2016-09-21 16:49:07
夜道
@yomichi_137
常に減らすと分散が強くなるので、適当に（定数、だいたいloss の特徴的なスケール）loss を減らす こうするとでやすさが増えるものもできる #pyconjp #pyconjp_205
2016-09-21 16:52:21
夜道
@yomichi_137
Gaussian の場合は、sampling をする代わりに N(0,1) から生成するnoise e を使って x = m + s*e とすることで、noise e を新たな入力とみなしてback prop をかけられる #pyconjp #pyconjp_205
2016-09-21 16:54:58
超循環評価器
@hagino3000
へええ、確率的なユニットを、ホワイトノイズをパラメータに追加して z = μ + σ*ε とする事でバックプロパゲーションできるトリック #pyconjp
2016-09-21 17:01:21
ゆべし
@yubessy
Reparameterizationの実装まではなんとかついていけたけど二項分布ユニットのほうは理解が追いつかなかった #pyconjp_205
2016-09-21 17:05:23
夜道
@yomichi_137
二項分布でも、サンプリングしたあとの変数しか出ない場所をくくりだすとそこまではback prop が使える #pyconjp #pyconjp_205
2016-09-21 17:07:02
Hiroki Yamamoto
@tereka114
今日の確率的ニューラルネットワークの話であったような一部をnumpyでゴリ押しするような実装はchainer強いんですよね…。theanoやtensorflowだとなんか凄くしんどい
2016-09-21 17:28:10