- shima__shima
- 2964
- 0
- 3
- 0
P.Domingosさんの招待講演.FastML とか Markovネットとか著名で面白い研究は沢山あるけど,今日はなんと深層学習で,ちょっと変化球の積和ネット (sum-product network).いつもちょっと着眼点が違ってて面白い.
2015-09-08 03:23:22積和ネット:葉ノードは分布.そして変数に重複のない分布の積をとる.それらの積の混合分布(重み付き和)をとる.この積と和を繰り返して複雑なモデルに.でも,ネットの大きさに対して線形時間で周辺分布や分布の最大値が計算できる強力な特長.
2015-09-08 07:17:38階層的混合モデル,thin junction tree,ループなしのCFPGなどのモデルを含む.積の部分が特徴の分布の生成で,和の部分がクラスタ的な構造の表現という意味づけはわかりやすかった.
2015-09-08 07:17:50識別モデルの表現をする場合は,勾配を正解分布と予測分布の差で計算できるが層が深くなると勾配消失問題に出くわす.ここで隠れ変数について周辺化する代わりに最大値を使うという解決策.
2015-09-08 07:18:00Poolingって書いてあったのがCNNかどうか分からなかったが CIFAR-10 / STL-10 のデータで一番積和ネットがいいらしい.そんなに積和ネットがすごいとは知らなかった.
2015-09-08 07:18:10階層NNは一般化線形モデルっぽいと理解しているが,誤差逆伝播は使うものの積和ネットはもっとグラフィカルモデルよりな感じがする印象を受けた.階層の深いグラフィカルモデルも計算可能な部分クラスが発見されると化けそうな気がする.
2015-09-08 07:18:23何か,そこらじゅうでベストペーパになっていて,ひとつだでベストでない研究に no best paper と書いてある,究極のハイレベルネタがしこんであった.積和ネットはほとんど知らなかったので非常によかった.参考: spn.cs.washington.edu
2015-09-08 07:18:32Monday's newsletter of #ecmlpkdd2015. pic.twitter.com/mpff3OLVZf
2015-09-08 09:48:57Keynote at @ECMLPKDD people.cs.kuleuven.be/~hendrik.block…
2015-09-08 17:06:16#bigdata on a universal scale #SKA skatelescope.org/amazingfacts/ @ECMLPKDD #ecml pic.twitter.com/l3ayQSLts1
2015-09-08 17:16:03Stdev of cross validation makes no sense #HendrikBlockeel @ECMLPKDD #ecml #machinelearning pic.twitter.com/VxIxjfKnFN
2015-09-08 17:26:42今日一つ目の招待講演は Hendrik Blockeel さん.宣言的なデータ分析.データベースで,SQLの登場前は,DBの挙動を全部記述していたが,今では欲しいデータについて記述すれば,具体的な手続きは利用者には隠蔽されている.
2015-09-08 18:04:22データ分析についても,同様のクエリ言語を考えている.また,モデリングの記述言語などのアプローチも.手法の選択とかそういうことは,クエリで与えられた仕様を満たすものをメタ学習のような感じでシステムが適宜探してくるという枠組み.
2015-09-08 18:04:35Stan みたいなグラフィカルモデルの記述とか,クレメンタイン以降のプロセスのグラフィカルな記述みたいなのとも似てる気がする.
2015-09-08 18:06:37過去の論文で現在よく引用されてる論文に与えられる賞はLeskovecさんらのグラフについての論文.隣接行列のクロネッカー積が次のグラフになるモデル.コミュニティ中のノードが,同様のコミュニティ構造をもつようなイメージ.
2015-09-08 20:57:28Seated and ready for @Huawei's Prof Hang Li @ECMLPKDD "Building a better connected world" #deeplearning #NLP #AI pic.twitter.com/5xvmIkOtOD
2015-09-08 22:05:34インダストリアル招待講演 Hang Li (李航) さん.昔 NEC / 日本にいらして,第1回のIBISの講演者 ibisml.org/ibis1998/ ランキング学習とかをされていた.今回はNLPでの対話処理について.
2015-09-08 22:54:53対話処理を文から文への対応ととらえる.マッピングの空間が,分布仮説に基づくskip-gramのような空間を文について考え,その中で対応付けする.CNNで文を潜在空間で表現し,その表現がマッチするかを深層階層ネットで一致度を算出.
2015-09-08 22:55:24もう一つの生成型の方法は,自己符号化器とにているけど,一番圧縮した空間のところで,入力の潜在表現を応答の潜在表現に変換するものにしている.利点:強力なモデル能力,手作業不要⇔欠点:ブラックボックス,データで整合性のない意見などはダメ
2015-09-08 22:55:33Willing to work in the industry? Don't miss the Sponsors Session today (6pm to 7pm) at Infante room. #ecmlpkdd2015 #jobs #DataScience
2015-09-09 00:53:29Good to see @jure back on stage @ECMLPKDD #ecml 18,000 citations to his 35yrs and already Professor! Not quite the #Queen but still cool as.
2015-09-09 17:05:17