しましまのICML2015まとめ

しましま @shima__shima

#icml2015 macaroon pic.twitter.com/PYCSOaylB4

拡大

しましま @shima__shima

@shima__shima 裏見たら，ベルギーのだった belgosweet.be マカロンに印刷して売ってるんだな．日本のご当地饅頭みたいなものか

しましま @shima__shima

ICMLは来るのが初めてで多いかどうかわからないが，1500人こえてるとか… プログラムが深層学習祭りになってるのもあるかなぁ？

Mathilde Chardeau @Mathichardeau

Come and say hi to #ICML2015 in Lille! pic.twitter.com/hlrE8tr0Pa

拡大

Christian Andersson Naesseth @chris_naesseth

#ICML2015 pic.twitter.com/YKaxGcPD4t

拡大

Alison B. Lowndes ✿ @AlisonBLowndes

@icml15 kicking off #icml2015 #deeplearning #AI pic.twitter.com/DfCUueooPT

拡大

Benjamin Guedj @bguedj

#ICML2015 opening! cc @Inria_Lille @icml15 pic.twitter.com/svtSf7XHsU

拡大

しましま @shima__shima

7/7日(火) ICML2015 2日目，本会議1日目

しましま @shima__shima

オープニングで 参加者は約1600人 と発表，採録 / 投稿 ＝ 270 / 1037，以外なことにフランスではICMLは始めてらしい

Julien Velcin @jvelcin

ML is a theoretical science ML is an empirical science ML is an engineer science but don't mix all genres! Léon Bottou keynote #icml2015

Dr Chloé Azencott ➡️🐘 @cazencott@lipn.info @cazencott

L Bottou: #machinelearning is an experimental science, an engineering science, AND an exact science. #icml2015

Levity @Al_levity

#ICML2015 In ML, basically only 1 paradigm: Split data in training and testing set. Bias: Testing on another dataset leads to bad results.

Dr Chloé Azencott ➡️🐘 @cazencott@lipn.info @cazencott

L Bottou: #machinelearning is an unusual experimental science in that we have essentially only one experimental setup (train/test) #icml2015

しましま @shima__shima

Léon Bottou さんの，機械学習を大規模ソフトウェアシステムの中で運用するときの問題について

しましま @shima__shima

普通のソフトのモジュールは仕様を決めればその通りに動く．しかし，機械学習で学習した結果はデータに依存する部分があるので，ときどきまずい動きをする．

しましま @shima__shima

機械学習の性能向上が，実実験によるものより速いのは，データの中で訓練・テストを回せるため．だが，このデータは大規模になるとキュレーションができずバイアスがのる，またデータでの異常値にはうまく対応できないといった問題を生じてしまう．

しましま @shima__shima

どうしたらいいか？データのみに依存しているのをやめる方向(?) 各アルゴリズムの制限についてもっと議論しよう．低頻度の事象についてもっと注意を払うような手法．モジュールとして提供するときは，特定事象への解決策を示したり．

しましま @shima__shima

先日 monoist.atmarkit.co.jp/mn/articles/15… で ILSVRC12 をベースにしている という記述は機械学習視点では違和感があるが，データを変えれば挙動が変わるので，ずっとソフトの人にとっては違う仕様のモジュールという見方になるのだろうな…

しましま @shima__shima

コンピュータ将棋でも，ボナンザメソッドのあとで，訓練データが違えば，別のソフトとして登録を許すかどうかは議論になったなぁ

TJO @TJO_datasci

@shima__shima この辺の話って企業で実データセットに応用してる現場だとほぼほぼ常識というかみんな悩まされてるポイントだと思うんですが、個々の現場でやってる取り組みをもっと普遍化する試みをアカデミック側でやってくれないかなぁというのがありますね。。。

しましま @shima__shima

@TJO_datasci アルゴリズムの限界を論文に書くと落とされるような現状なので，限界について書いてなかったら議論を促すように変えましょうと公演中でおっしゃってました

™ @tmaehara

best paper グラフの部分グラフの疎性制約での疎回帰。これ基本的には known result だと思う。解析はタイトかも。

™ @tmaehara

重み和最大化が解ける族は、圧縮センシングも解ける、ってのが既知の結果で、prize collecting steinerを使う部分がたぶん面白いところ。これができるのは既知の結果の証明を知っていればわかる。

Matthias Rolf @MatthiasRolf1

Leon Bottou: "We don't test people the way we test learning machines" occurrence prob. vs coverage #icml2015 pic.twitter.com/qdERJolB9h

拡大

™ @tmaehara

Support matrix machines、行列の内積での分類器 st 特異値和で正則化。すっごい普通では。