しましまのICML2015まとめ

しましま @shima__shima

Approval Voting and Incentives in Crowdsourcing クラウドソーシングで，画像の看板の言語の判定．漢字のとき日中のどちらか分かるワーカーと中と一意に判定できるワーカーとまざっていると，集約した答えが間違いになって困る

しましま @shima__shima

このとき変な答えを入れないようにさせるインセンティブをもたせた対価支払いのメカニズム．複数選択を許して，少ない選択で当てると支払が増える．

™ @tmaehara

最高のタイトル pic.twitter.com/YsynqaCq02

拡大

™ @tmaehara

「greedy coordinate descent (Gauss-Southwell) は random coordinate descent と比べて最善で n 倍早いので greedy coord. desc. をつかえ」

™ @tmaehara

「Lipshitz 定数が軸ごとに違う場合は precondition せよ」

™ @tmaehara

解析のアイデアは，strong convexity を 1-strong convexity（+μ |x|_1） に置き換えること．これで評価がタイトになって，random と n 倍差がつく例題が作れる．

™ @tmaehara

この評価，線型の場合だとポテンシャル解析（see標準的教科書）するのと同じことになるので，線型計算の人からすると当然の解析．

™ @tmaehara

劣モジュラ最大化を分散してgreedyすると精度が落ちる（定数近似にならない）んだけど、ランダムに分散させると定数近似になる。

™ @tmaehara

あまり劣モジュラ力は高まってない感じだった。

™ @tmaehara

arxiv.org/pdf/1409.2848v… さっきコメントしたSVD論文．sophisticated method [Golub, van Loan] って引用になってて，1反復ごとに1回以上の行列ベクトル積をしていて遅い，という主張だった．これならわからなくもない．

™ @tmaehara

ただ、乱択にして増加する定数倍と、Krylovの収束速度を比べて、本当に得するかはよくわかんない。個人的にはKrylov系は情報論的に限界に近いと思っているので、行列の一部だけをみて解ける系の仮定をおかないとダメと思う。

Andrew B. Collier @datawookie

Word cloud from paper content at #ICML2015. A cliché, but interesting that the most frequent word is "can". pic.twitter.com/RNNSw4g3b4

拡大

™ @tmaehara

jmlr.org/proceedings/pa… Harmonic exponential familes on manifolds タイトルで圧勝してると思う．

™ @tmaehara

ICML，名札付けてるかを見張ってるところに，金髪ポニテ・男性用スーツ女子が居て，ドツボでした．

™ @tmaehara

arxiv.org/pdf/1503.03585… Deep Unsupervised Learning using Nonequilibrium Thermodynamics これもタイトル勝利系．話も聞いてみたけどよくわかんなかった．

chunjp @chunjp

@tmaehara イントロを30秒ぐらい読んだ感じで適当に概説すると、非平衡熱力学分野で有名なJarzynski identityという「非平衡＝一方向に力を掛けながらシミュレーション」しつつ「正確な確率分布を重み戻しで出す」手法があるのですが、それを学習に使う話に見えます。

chunjp @chunjp

@tmaehara 利点はサンプリングが良くなることですが、Jarzynski identityを使った計算って別に他のstate-of-artな手法と比べて簡単、と言うことは無いのでタイトル勝利な気がします。Jarzynskiが役立つなら他の拡張アンサンブル系も役立つ。

™ @tmaehara

@chunjp ありがとうございます，雰囲気はわかった気がします．Jarzynski id. 知らなかったんですが，この界隈でもごくたまに使ってるものを見かけますね．MCMC系とかで使えるのかしら．

™ @tmaehara

ICML2015 感想文書いてる（アドレス訂正） dropbox.com/s/o2z07r6xzj2n…

しましま @shima__shima

7/9日(木) ICML2015 4日目，本会議3日目

™ @tmaehara

jmlr.org/proceedings/pa… On greedy maximization of entropy 貪欲法がやたら良い性能を出すのを解析する．特徴選択の問題でエントロピーlog det K[S]を最大化．Kをガウス核にして根性で曲率を評価．

™ @tmaehara

(๑･ิ◡･ิ๑) でてきた

しましま @shima__shima

Dealing with small data: On the generalization of context trees で context-specific 独立性というのを知った．コンテキストとよぶ条件部のいくつかの変数が特定の値に固定された場合のみを考えるらしい

しましま @shima__shima

このコンテキストの違いを木の形にまとめたコンテキスト木という表現があり，それをBDDみたいに変数をまとめたりしたparsimoniousコンテキスト木というのがあるらしい．それの獲得手法の改良の話だった．

しましま @shima__shima

プライバシのセッション