機械学習関連ニュース2016

Koichiro Mori @sylvan5

"マイクロソフト、AIに特化したファンドを設立" japan.cnet.com/news/business/…

Yoh Okuno @yoh_okuno

書きました。NIPS 2016参加報告 qiita.com/yoh_okuno/item…

Koichiro Mori @sylvan5

Kerasブログ更新。Kerasのデータ拡張クラスであるImageDataGeneratorの使い方をまとめた。ZCA白色化の原理がまだよくわからない。畳み込みニューラルネットと組み合わせる実験は次回やろう。 aidiary.hatenablog.com/entry/20161212…

piqcy @icoxfog417

LSTMを超える期待の新星、QRNN [Python] on @Qiita qiita.com/icoxfog417/ite…

piqcy @icoxfog417

Pythonでのデータ成型の方法についてのまとめ。 jeannicholashould.com/tidy-data-in-p… こちらの記事がベースになっていて、とても参考になる vita.had.co.nz/papers/tidy-da…

piqcy @icoxfog417

強化学習を行う際のポイントのまとめ。ベースラインはちゃんとチューニングして動かせ、学習はクラウド環境などを使って自動化すべし、また実践的なパラメーターチューニングのテクニックなどについても書かれている。 twitter.com/karpathy/statu…

Andrej Karpathy @karpathy

John Schulman's slides from today's "nuts and bolts of RL", great practical advice for getting RL to work rll.berkeley.edu/deeprlcourse/d…

2016-12-10 01:27:29

piqcy @icoxfog417

2016年のDNNの進化についてのまとめ。画像ではGAN、また条件指定のGAN、言語では質問応答、機械翻訳など。Discussionで上がったようだが、AlphaGoなどもあるのでこれには収まらない感じになるか。 twitter.com/MLconf/status/…

MLconf @MLconf

Nice article by our friends @tryolabs: The major advancements in Deep Learning in 2016 disq.us/t/2gneca5

2016-12-08 08:29:04

piqcy @icoxfog417

Ubuntuのテクニカルサポートの対話データを使って、質問応答システムを作ろうという話。最初に(いわゆるseq2seqのような)発話生成モデルは実用的でないとばっさり、きっちりベースラインのモデルを作ってからNNを使うなど、ブログ記事とは思えない手堅さで書かれていてとてもよい。 twitter.com/PythonEggs/sta…

piqcy @icoxfog417

DNNの隠れ層の中身＝学習状況をどうかしかするのかについて。手書き文字の奇跡の予測で、こちらが書くと予測された軌跡が点線で表示されるデモが公開されている。これに加えて、隠れ層のActivationの様子がインタラクティブに表示されるデモ(最後のもの)は圧巻。 twitter.com/hardmaru/statu…

hardmaru @hardmaru

Visualizing Handwriting Predictions with RNNs inside your web browser. New post by @shancarter, @enjalot and myself. distill.pub/2016/handwriti… pic.twitter.com/VHA6HKkIbA

2016-12-07 09:16:42

piqcy @icoxfog417

ニューラルネットの学習ってなんだかんだ手作業orルールベースだよね、ということで、「学習のさせ方」のノウハウを学習するという研究。ターゲットのネットワークの重みを、RNN(2層LSTM)を使って推定させる。AdamやRMSpropより優秀な結果。TensorFlow実装有り。 twitter.com/NandoDF/status…

Nando de Freitas 🏳️‍🌈 @NandoDF

GitHub - our #nips2016 Learning to Learn code in TensorFlow github.com/deepmind/learn…

2016-12-07 20:40:59

piqcy @icoxfog417

TorchでStarCraftを強化学習するためのライブラリが公開。 twitter.com/NandoDF/status…

Nando de Freitas 🏳️‍🌈 @NandoDF

An interesting new environment for deep RL github.com/TorchCraft/Tor…

2016-12-07 20:37:42

おがちゃんねる @conta_

DeepLearning Advent Calendar書きました。Deep Learningによる一般物体検出アルゴリズムの紹介 tech-blog.abeja.asia/entry/object-d…

piqcy @icoxfog417

これ重要。 TensorFlow の名前空間を理解して共有変数を使いこなす by @TomokIshii on @Qiita qiita.com/TomokIshii/ite…

piqcy @icoxfog417

DeepMindが、3Dの強化学習トレーニング環境を公開。色々な3Dゲームが提供されているもよう。Lua/Pythonで使用可能。だが・・・Python2オンリーにみえる。 github.com/deepmind/lab/b… twitter.com/DeepMindAI/sta…

DeepMind @DeepMind

Read our blog to find out about #DeepMindLab goo.gl/sFgH4Q then try it for yourself here goo.gl/0c4pgl pic.twitter.com/o9LUGgHHTB

2016-12-07 00:34:19

piqcy @icoxfog417

RNNでは1wordごとに処理するので並列処理できないし、前の隠れ層からの入力を受け続けることで隠れ層はいろんな単語の情報がミックスされた謎の何かになる。そこでCNNにより並列処理＋隠れ層を前回独立にキープして出力を計算するブロックを発明。その名はQRNN。Chainer実装有。 twitter.com/Smerity/status…

Smerity @Smerity

@danofer We released the CUDA code + base wrappers for @ChainerOfficial at metamind.io/research/new-n… - may be helpful. Minimal CUDA needed :)

2016-12-06 06:20:54

piqcy @icoxfog417

Azure Machine Learningが複数のRとPythonのバージョンへ対応Microsoft R Open と Python 3 にも memo.tyoshida.me/azure/azure-ma… @TaikiYoshidaJPさんから

高梨陣平 @jingbay

Appleは自社研究者に対しAI研究の論文発表を認めた。大きな方針転換であり同社の深層学習研究の先進性を加速させる手助けとなる。同社はSiri発表時には先行していたいのにGやAmaに抜かれていたが、研究者達は閉鎖性を理由の一端として挙げていた。バルセロナのAIカンファレンスで発表 twitter.com/business/statu…

Bloomberg @business

Apple will publish its AI research to help accelerate deep learning bloom.bg/2g6A3Qe pic.twitter.com/EXSwA8MTAi

2016-12-07 04:40:32

piqcy @icoxfog417

OpenAIがリリースした、より汎用的な強化学習環境Universe。リモートデスクトップと同様の仕組みで、人がパソコンを使って行うこと(事務作業からブラウザゲームまで)ならなんでもOpenAI Gymの環境にできるというすぐれもの openai.com/blog/universe/ pic.twitter.com/HwCe6wfZik

拡大

piqcy @icoxfog417

Rekognition APIを提供していたOrbeusが買収されてre:InventでAPIが再公開されるという。 Amazonが ディープラーニングスタートアップ Orbeus を買収 wp.me/p6eRW0-I1v @thebridge_jpさんから

piqcy @icoxfog417

DQNを3次元に適用すると、次元が増えた分探索が疎になり学習が非常に難しい。そこで、SLAMによる自己位置推定と、Faster-RCNNによる物体検出で俯瞰図(=神の視点)を作って補助情報として入れてやる手法の提案。単純なDQNより学習の初速が速く、総報酬も2倍超となった。 pic.twitter.com/NJZg5A9jbe

拡大

piqcy @icoxfog417

まだクラシックだけのようだが、大きな一歩。MusicBrainzとかと連動してくれるとメタデータがはかどるんだがなー。 twitter.com/naotokui/statu…

Nao Tokui / 徳井直生 @naotokui

MusicNet. 音楽のImageNetとでもいうべきデータベース. これは使える! #machinelearning buff.ly/2h3DVgU

2016-12-05 11:32:58

piqcy @icoxfog417

CNNのニュース記事をベースにした質問応答のデータセット。質問数は10万overというサイズ。SQuAD同様、質問はクラウドソーシングで作成しており、回答は本文中の抜粋(一単語とは限らない)になる。しかも、答えられない可能性もあるという歯ごたえのある問題設定になっている。 twitter.com/Smerity/status…

Smerity @Smerity

The @MaluubaInc NewsQA dataset provides over 100k QA pairs (@stanfordnlp SQuAD style) over @DeepMindAI's CNN dataset datasets.maluuba.com/NewsQA pic.twitter.com/9MMlPiRYv4

2016-12-02 17:56:33

piqcy @icoxfog417

画像の補完を、高解像度で行う手法の提案。単に画像全体だけでなく、周辺のテクスチャのパターンとの差異も見ることで従来手法より良い(loss的には微減という感じだが)補完を実現。 twitter.com/alexjc/status/…

Alex J. Champandard 🌱 alexjc@creative.ai @alexjc

High-Res Image In-Painting using Multi-Scale Neural Patch Synthesis arxiv.org/abs/1611.09969 Complete opposite of GAN solutions, interesting! pic.twitter.com/HKqdQg8vi0

2016-12-01 18:24:03

piqcy @icoxfog417

対話中の学習を可能にするため、Memory Networkと強化学習を組み合わせる手法の提案。正しい回答「だけ」を模倣するよう学習するモデル(RBI)と、返答から報酬を推定するモデル(FP)を検証。双方有効なことを確認。 arxiv.org/abs/1611.09823

piqcy @icoxfog417

Jupyter Notebookを共有できるMicrosoftのサービス。需要があるかはわからんが、F#のノートブックも作れるよ。 notebooks.azure.com