しましまのECMLPKDD2015まとめ

しましま @shima__shima

P.Domingosさんの招待講演．FastML とか Markovネットとか著名で面白い研究は沢山あるけど，今日はなんと深層学習で，ちょっと変化球の積和ネット (sum-product network)．いつもちょっと着眼点が違ってて面白い．

しましま @shima__shima

積和ネット：葉ノードは分布．そして変数に重複のない分布の積をとる．それらの積の混合分布（重み付き和）をとる．この積と和を繰り返して複雑なモデルに．でも，ネットの大きさに対して線形時間で周辺分布や分布の最大値が計算できる強力な特長．

しましま @shima__shima

階層的混合モデル，thin junction tree，ループなしのCFPGなどのモデルを含む．積の部分が特徴の分布の生成で，和の部分がクラスタ的な構造の表現という意味づけはわかりやすかった．

しましま @shima__shima

識別モデルの表現をする場合は，勾配を正解分布と予測分布の差で計算できるが層が深くなると勾配消失問題に出くわす．ここで隠れ変数について周辺化する代わりに最大値を使うという解決策．

しましま @shima__shima

Poolingって書いてあったのがCNNかどうか分からなかったが CIFAR-10 / STL-10 のデータで一番積和ネットがいいらしい．そんなに積和ネットがすごいとは知らなかった．

しましま @shima__shima

階層NNは一般化線形モデルっぽいと理解しているが，誤差逆伝播は使うものの積和ネットはもっとグラフィカルモデルよりな感じがする印象を受けた．階層の深いグラフィカルモデルも計算可能な部分クラスが発見されると化けそうな気がする．

しましま @shima__shima

何か，そこらじゅうでベストペーパになっていて，ひとつだでベストでない研究に no best paper と書いてある，究極のハイレベルネタがしこんであった．積和ネットはほとんど知らなかったので非常によかった．参考： spn.cs.washington.edu

しましま @shima__shima

#ecmlpkdd 2015 conference bag pic.twitter.com/wjxwGeXgGf

拡大

ECML PKDD @ECMLPKDD

Monday's newsletter of #ecmlpkdd2015. pic.twitter.com/mpff3OLVZf

拡大

しましま @shima__shima

9月8日 (火) ：本会議 第1日

Alison B. Lowndes ✿ @AlisonBLowndes

Keynote at @ECMLPKDD people.cs.kuleuven.be/~hendrik.block…

Alison B. Lowndes ✿ @AlisonBLowndes

#bigdata on a universal scale #SKA skatelescope.org/amazingfacts/ @ECMLPKDD #ecml pic.twitter.com/l3ayQSLts1

拡大

Alison B. Lowndes ✿ @AlisonBLowndes

Stdev of cross validation makes no sense #HendrikBlockeel @ECMLPKDD #ecml #machinelearning pic.twitter.com/VxIxjfKnFN

拡大

しましま @shima__shima

今日一つ目の招待講演は Hendrik Blockeel さん．宣言的なデータ分析．データベースで，SQLの登場前は，DBの挙動を全部記述していたが，今では欲しいデータについて記述すれば，具体的な手続きは利用者には隠蔽されている．

しましま @shima__shima

データ分析についても，同様のクエリ言語を考えている．また，モデリングの記述言語などのアプローチも．手法の選択とかそういうことは，クエリで与えられた仕様を満たすものをメタ学習のような感じでシステムが適宜探してくるという枠組み．

しましま @shima__shima

Stan みたいなグラフィカルモデルの記述とか，クレメンタイン以降のプロセスのグラフィカルな記述みたいなのとも似てる気がする．

しましま @shima__shima

@shima__shima 教えてもらったところによれば，CNN が DropOut で急速に性能を伸ばす前の話みたい

しましま @shima__shima

過去の論文で現在よく引用されてる論文に与えられる賞はLeskovecさんらのグラフについての論文．隣接行列のクロネッカー積が次のグラフになるモデル．コミュニティ中のノードが，同様のコミュニティ構造をもつようなイメージ．

Alison B. Lowndes ✿ @AlisonBLowndes

Seated and ready for @Huawei's Prof Hang Li @ECMLPKDD "Building a better connected world" #deeplearning #NLP #AI pic.twitter.com/5xvmIkOtOD

拡大

しましま @shima__shima

インダストリアル招待講演 Hang Li (李航) さん．昔 NEC / 日本にいらして，第1回のIBISの講演者 ibisml.org/ibis1998/ ランキング学習とかをされていた．今回はNLPでの対話処理について．

しましま @shima__shima

対話処理を文から文への対応ととらえる．マッピングの空間が，分布仮説に基づくskip-gramのような空間を文について考え，その中で対応付けする．CNNで文を潜在空間で表現し，その表現がマッチするかを深層階層ネットで一致度を算出．

しましま @shima__shima

もう一つの生成型の方法は，自己符号化器とにているけど，一番圧縮した空間のところで，入力の潜在表現を応答の潜在表現に変換するものにしている．利点：強力なモデル能力，手作業不要⇔欠点：ブラックボックス，データで整合性のない意見などはダメ

ECML PKDD @ECMLPKDD

Willing to work in the industry? Don't miss the Sponsors Session today (6pm to 7pm) at Infante room. #ecmlpkdd2015 #jobs #DataScience

しましま @shima__shima

9月9日 (水) ：本会議 第2日

Alison B. Lowndes ✿ @AlisonBLowndes

Good to see @jure back on stage @ECMLPKDD #ecml 18,000 citations to his 35yrs and already Professor! Not quite the #Queen but still cool as.