機械学習関連ニュース2016

piqcy @icoxfog417

LipNetに先を越された感はあるが、音声認識に画像特徴量を組み合わせる試み。ノイズありの環境では、あらかじめノイズありの音声で学習＋口のあたりの画像特徴量を併用するのが良い結果になるとの結果。ノイズなしで学習させた場合、画像を組み合わせても精度が出なくなるのは重要な示唆。 twitter.com/Miles_Brundage…

Miles Brundage @Miles_Brundage

"Robust end-to-end deep audiovisual speech recognition," Sanabria et al.: arxiv.org/abs/1611.06986 CC @jackclarkSF Simultaneous w/ LipNet?

2016-11-22 10:37:55

piqcy @icoxfog417

データセットの中の各データを「点」と考えると、データセットは各点を関連付ける「構造」(点をつなぐ構造=グラフ構造)を持っていると考えることができる。この構造として何パターンかのシンプルな定義を行い、データセットへ適用してみることで「構造からの外れ値」の検出などを行っている。 twitter.com/thomaskipf/sta…

Thomas Kipf @thomaskipf

Deep Learning on directed, multi-relational graphs (incl. sets and point clouds). Novel perspective on graph convs arxiv.org/abs/1611.04500 pic.twitter.com/ndO9S9d7lM

2016-11-21 18:58:47

Daisuke Okanohara / 岡野原 大輔 @hillbig

ganの学習の安定化(3) 識別モデルの更新を固定数展開し、それを生成モデルの更新時に使う。識別器が次にどうするか数手先の情報もみた上で生成器は騙すようにする。強化学習で（自分に反応する）環境も含めbpttしてるのに似ている arxiv.org/abs/1611.02163

丸の内電気鼠 @caesar_wanya

NAISTの音情報処理の授業資料をアップしました。音声対話システムに関する講義です。 pomdp.net/docs/speechpro…

む @tn1031

新作です／VAEとGANを活用したファッションアイテム検索システム tech.vasily.jp/entry/retrieva…

piqcy @icoxfog417

機械学習による判断が、特定集団にとって差別的にならないようにするには、という話。単純に収益最大化を目的とするとすると差別的になってくるので、True Positive(この実験では、ローンを返せると見込んだ人が実際に返せた割合)を平等にする=機会の平等を担保するのが重要という話。 twitter.com/hardmaru/statu…

hardmaru @hardmaru

Excellent Interactive Visualization on Attacking Discrimination with Smarter Machine Learning. research.google.com/bigpicture/att…

2016-11-21 15:45:11

piqcy @icoxfog417

DNNによる読唇術の続編。画像に加え、音声を用い(MFCCをLSTMでencode)、これらにAttentionを張った文字ベースのLSTM(Attend and Spell)で挑戦。※音声は使わない版も検証。BBCニュースの映像で検証したところ、プロを上回ることに成功。 twitter.com/NandoDF/status…

Nando de Freitas 🏳️‍🌈 @NandoDF

Pre training on BBC data improves Lipreading on GRID - hope BBC data is released for academic research arxiv.org/abs/1611.05358

2016-11-19 22:07:38

piqcy @icoxfog417

画像についての質問と答えのデータセット。こちらもImageNetのFei-Fei Li先生が携わっているようで本当に頭が下がる・・・ Visual7W: Grounded Question Answering in Images web.stanford.edu/~yukez/visual7…

piqcy @icoxfog417

画像を見て質問に答えるタスクでは、学習した画像についてだけ答えられる、良くある答え(「2つ」とか)を多めに繰り出して精度が上がっているなど明らかな過適合が見られた。そこで真実見たことない画像(Zero-Shot)に回答可能かをテストするためのデータとベースラインモデルの提案 twitter.com/tkmih/status/7…

himkt @himako_h

"Zero-Shot Visual Question Answering. (arXiv:1611.05546v1 [cs.CV])" #arxiv #feedly arxiv.org/abs/1611.05546

2016-11-19 16:42:03

piqcy @icoxfog417

強化学習は、精度は高いが大量のデータを必要とする。人間ならもうちょい効率よくやるのに・・・ということで、様々なタスクのモデル(RNN)の学習を強化学習でやることで、各タスク間の共通構造などを習得させられないか(習得できれば、他の新しいタスクの時に上手くやれる)という試み、のはず。 twitter.com/DeepMindAI/sta…

DeepMind @DeepMind

Our new paper on how to learn a reinforcement learning algorithm on a variety of tasks: arxiv.org/abs/1611.05763

2016-11-19 03:17:47

WIRED.jp @wired_jp

機械はどのように「ことば」を読むのか？ 自然言語処理の天才たちに訊く wired.jp/special/2016/n…

piqcy @icoxfog417

論文読み会で使っているリポジトリです。だいぶ溜まってきたので公開します！ 論文のまとめをIssueとして管理してあげています。調査の参考にしていただければ＆ぜひIssue(論文)登録のご協力もお待ちしています arXivTimes github.com/arXivTimes/arX…

piqcy @icoxfog417

まだ商品を画像認識して説明を表示するぐらいだけど、Machine Readingのタスクが進めばもう少し高度なこともできてくるかもしれない。 グーグルの人工知能、今度は「小売店」で使われる｜WIRED.jp wired.jp/2016/11/17/and…

piqcy @icoxfog417

Google CloudでもGPUが使えるようになったで twitter.com/tuntuku_sy/sta…

Shinya Yuki @shinya_elix

Announcing GPUs for Google Cloud Platform cloudplatform.googleblog.com/2016/11/announ…

2016-11-17 00:18:28

piqcy @icoxfog417

Googleのインパクトにかき消されてしまった感は否めないが、Microsoftも翻訳をNNモデルに切り替えたでという話。 twitter.com/mstranslator/s…

Microsoft Translator @mstranslator

All of @MSTranslator’s speech translation now powered by state of the art #neuralnetwork! Learn more blogs.msdn.microsoft.com/translation/20… #MSFTConnect pic.twitter.com/oGb0wMWD2i

2016-11-16 09:52:51

piqcy @icoxfog417

言語を扱う複数のタスクは、相互に有用な知識を持つはずだから、組み合わせたほうがいい精度が出るのでは、という話。品詞づけ・文節判定・係り受け・文意関係(補強・反対・普通)・文関係の度合い、といった複数のタスクをこなす一つのネットワークを構築し、最高精度を達成。 twitter.com/RichardSocher/…

Richard Socher @RichardSocher

#deeplearning now very good at solving single tasks. The next frontier is joint many-task learning. Our first step: arxiv.org/abs/1611.01587 pic.twitter.com/ElhGrLEAoH

2016-11-16 03:51:40

piqcy @icoxfog417

一度だけ文書を読んで質問に答えるより、質問がわかってから見返せたほうがいいよね？ということで文書のencodeだけでなく、質問も掛け合わせたものを利用する(Coattention)、また一度で回答するのでなく何回か見直すことで局所最適を避けるという手法の提案。これでSOTAを更新 twitter.com/RichardSocher/…

Richard Socher @RichardSocher

SOTA Question answering Paper arxiv.org/abs/1611.01604 Blog metamind.io/research/state… Squad dataset rajpurkar.github.io/SQuAD-explorer/ of @stanfordnlp pic.twitter.com/CSSgWCVG9o

2016-11-16 03:39:56

piqcy @icoxfog417

離散値の予測(=クラス分類など)を行う際の出力について。クラスの特定に使うargmaxなどは微分可能でないためうまく誤差伝搬できない。なので、連続/離散分布の特性を調整する変数を導入した方法を提案。その名はガンベル・ソフトMAX blog.evjang.com/2016/11/tutori…

piqcy @icoxfog417

物体認識を行う際、写真のどこに注目するかを決めて(右上・左上、など)切り取り、拡大する。そこからさらにどこに注目するか決め・・・と再帰的に繰り返すことで認識精度を上げるという研究。この挙動を強化学習で学習させる。重複には強くなったが、切り取りによる領域縮小で精度が下がったとのこと twitter.com/fchollet/statu…

François Chollet @fchollet

Hierarchical object detection with deep reinforcement learning (NIPS workshop paper, Keras code available): imatge-upc.github.io/detection-2016…

2016-11-15 02:46:14

piqcy @icoxfog417

Kerasで実装されたCNNの隠れ層を可視化するツール。Kerasもエコシステムの開発が盛んになってきたか。 twitter.com/fchollet/statu…

François Chollet @fchollet

Quiver: tools for interactive Keras convnet visualization. jakebian.github.io/quiver/ pic.twitter.com/lvElrAbUFC

2016-11-15 00:20:45

piqcy @icoxfog417

音楽を生成するRNNを、強化学習で学習させるという方法。actionは音符を選ぶことで、Rewardは実際の曲的に出現しうるか＋音楽理論に沿っているか(いくつかの特徴量で設定)で与える。こちらでモデルが公開されており、試すことが可能 github.com/tensorflow/mag… twitter.com/NandoDF/status…

Nando de Freitas 🏳️‍🌈 @NandoDF

Tuning Recurrent Neural Networks with Reinforcement Learning flip.it/13HKJo

2016-11-12 18:12:24

piqcy @icoxfog417

Hinton先生の講義で紹介されたLSTMの図。かなりわかりやすい。 pic.twitter.com/1smAq5Zwqs

拡大

piqcy @icoxfog417

お、これはいいのきた twitter.com/chezou/status/…

Aki Ariga @chezou

いそのー、誰がCNNで最初に解けるか競争しようぜー / “古文書を自動翻訳する日も近い！？江戸時代の8万字超の「くずし字 字形データ」が無償公開へ | 歴史・文化 - Japaaan 日本文化と今をつなぐ” htn.to/kjByyj

2016-11-18 17:26:56

piqcy @icoxfog417

NIP2015読み会「End-To-End Memory Networks」 by @unnonouno #deeplearning #machinelearning slideshare.net/unnonouno/nip2… @SlideShareさんから

piqcy @icoxfog417

本日の資料です #techcircleja Tech-Circle #18 Pythonではじめる強化学習 OpenAI Gym 体験ハンズオン slideshare.net/takahirokubo77… ハンズオン github.com/icoxfog417/tec…