機械学習関連ニュース2016

piqcy @icoxfog417

StyleTransferをテキストに応用し、かっこいいフォントを作るというもの。フォントにかかるエフェクトは細かく、単純にStyleTransferをかけても上手くいかない。そこで、既存のフォントの特性を数学的に定義していって、それを適用していくという手法を取っている。 twitter.com/alexjc/status/…

Alex J. Champandard 🌱 alexjc@creative.ai @alexjc

Awesome Typography: Statistics-Based Text Effects Transfer arxiv.org/abs/1611.09026 Semantic stylization with specialized annotations. #ML pic.twitter.com/JrXx1Kn1yG

2016-11-30 05:54:04

piqcy @icoxfog417

SQuADで最高精度を更新した論文。文字・単語・フレーズ、その上に文書/クエリの関連(Attention)、さらにそれらの関連、出力、という階層型のモデル。Attentionとencodeの役割分担が肝とのこと。以下で際に試せる allenai.github.io/bi-att-flow/

piqcy @icoxfog417

Pythonのコード補完をRNN言語モデルで行う話。Attentionをclassやfunctionの宣言にはることで、予測精度を上げている。 arxiv.org/abs/1611.08307 リポジトリはこちら github.com/uclmr/pycodesu… pic.twitter.com/b6IuzrbJix

拡大

piqcy @icoxfog417

言語を超えた分散表現の学習について、その手法がまとめられている。言語資源が豊富な所では分散表現が活用できて、あまりないところでは活用できないというのは言語資源による情報格差に繋がってしまうので、それを克服していこうという話。 twitter.com/seb_ruder/stat…

Sebastian Ruder @seb_ruder

Ever wanted to train word embeddings across languages? Check out my new post on a survey of cross-lingual models! sebastianruder.com/cross-lingual-…

2016-11-28 21:30:01

piqcy @icoxfog417

MNISTを使ったAC-GANのKeras実装。AC-GANは、見破り側に単に本物か偽物かだけでなく、そのクラス(MNISTの場合0~9)の判定も学習させる方法。これでクラスを指定した生成が可能になる。 twitter.com/samim/status/8…

piqcy @icoxfog417

WaveNetのTensorFlow実装。事前学習済みモデルもついているもよう。しかし、コードが本当に短い。 twitter.com/ogrisel/status…

Olivier Grisel @ogrisel

Speech-to-Text-WaveNet: End-to-end sentence level English speech recognition in tensorflow: code & pre-trained model github.com/buriburisuri/s…

2016-11-25 23:06:10

piqcy @icoxfog417

強化学習中にサブタスクを行わせることで学習速度を上げる試み。ベースはA3Cで、experience replay内の経験から「行動による環境変化最大化」、「次のactionの報酬予測」を並行して行うことで、より高速にできたという話 deepmind.com/blog/reinforce…

piqcy @icoxfog417

全自動機械学習で実現する、現場のためのワンクリックデータ予測 by @icoxfog417 on @Qiita qiita.com/icoxfog417/ite…

Koichiro Mori @sylvan5

"ディープラーニングを使い強力な画像分析を可能にしたサービス「Amazon Rekognition」が登場" gigazine.net/news/20161201-…

Koichiro Mori @sylvan5

"会話AIの発展のため、Amazonがアクセラレータープログラムを新設" #it #feedly jp.techcrunch.com/2016/12/01/201…

Koichiro Mori @sylvan5

"Amazonがテキストをネイティブレベルの自然な音声に変換する「Amazon Polly」を発表、24の言語と47の音声に対応" gigazine.net/news/20161201-…

piqcy @icoxfog417

ImageNetってサイズ大きすぎるから、もうちょい小さくていいよ、という方のためのTiny ImageNet。200クラスで、1クラス500件。 tiny-imagenet.herokuapp.com

piqcy @icoxfog417

本日の資料です。 文章を読み、理解する機能の獲得に向けて ~Machine Comprehensionの研究動向~ slideshare.net/takahirokubo77… #tfug

piqcy @icoxfog417

後輩による、世界最速！？のEmbedding Visualizationやってみた TensorFlorw 0.12で追加されたEmbedding Visualizationを試す by @Hironsan13 on @Qiita qiita.com/Hironsan/items…

piqcy @icoxfog417

TensorFlow 0.12.0から、実験段階だがGo言語向けAPIが搭載されたもよう。 github.com/tensorflow/ten…

Kazunori Sato @kazunori_279

Google Brainチーム、DNNによる網膜画像診断で糖尿病の診断。ふつうのお医者さんより高成績。 research.googleblog.com/2016/11/deep-l… pic.twitter.com/CyLou8A0At

拡大

piqcy @icoxfog417

Microsoftが出しているGradient BoostringのライブラリLightGBMにPythonバインディングが入ってきた模様。Stanfordの論文でランキングの実装に使われていたので、試してみたい github.com/Microsoft/Ligh…

piqcy @icoxfog417

NICTが大阪駅で人の流量を観測しようとしてカメラを設置して「プライバシー侵害」として炎上した件の報告書。とても真摯な内容と思う。 今後データの収集を目的とした公共スペースでの実験は増えると思うので、こうした現象をどう扱うか要検討 nict.go.jp/nrh/iinkai/rep…

piqcy @icoxfog417

下記論文の、GitHub実装が公開されました。CNNベースの特徴点抽出。OpenCV3+Lasagneベース github.com/cvlab-epfl/LIFT twitter.com/icoxfog417/sta…

piqcy @icoxfog417

特徴点検知->(回転)角度推定->(角度独立な)特徴量記述の取得、という特徴検知の3プロセスをCNNを組み合わせて実現した話。その名もLIFT GitHubに来るらしいので期待して待つ github.com/cvlab-epfl/LIFT twitter.com/quantombone/st…

2016-08-13 12:43:28

piqcy @icoxfog417

最適化の方法についての解説。解説の内容もだが、ビジュアライゼーションが半端ない。 twitter.com/NandoDF/status…

Nando de Freitas 🏳️‍🌈 @NandoDF

An Interactive Tutorial on Numerical Optimization flip.it/KUSlhX

2016-11-27 06:10:01

piqcy @icoxfog417

AWSはMXNet押しで行くとのアナウンス。GPUを刺した時の性能のスケールが良いとのこと。 twitter.com/amuellerml/sta…

Andreas Mueller (also at mastodon) @amuellerml

AWS will use / support MXNet as their deep learning framework of choice allthingsdistributed.com/2016/11/mxnet-…

2016-11-23 22:19:42

piqcy @icoxfog417

言語モデル学習用のデータセットWikiText-2/WikiText-103の公開。それぞれPenn Treebankよりも2倍&110倍のデータ量。 twitter.com/Smerity/status…

Smerity @Smerity

The WikiText dataset page includes new SotA results on both WT-2 and WT-103 from FB's Neural LM w Continuous Cache metamind.io/research/the-w… pic.twitter.com/1ceh5K6ZmW

2016-11-23 06:07:21

piqcy @icoxfog417

Googleの翻訳モデルが、学習していない言語間の翻訳にも成功しているとの結果。つまり、言語の意味を(何らかの形で)より高次にとらえているのでは・・・と。 twitter.com/googleresearch…

Google AI @GoogleAI

Learn about Zero-Shot Translation with Google’s Multilingual Neural Machine Translation System, at goo.gl/UYZvVf pic.twitter.com/19oDgeKpmq

2016-11-23 03:12:55

piqcy @icoxfog417

ニューラルネットの重みをベイズ推定するBNNは、すべての重みが互いに独立なのは過程として無理がある。そこで、重みの相関を表現するゲートを設けるという話。ノードの接続を調整するという面でDropOutの拡張、Dropout++と命名。 arxiv.org/abs/1611.06791 pic.twitter.com/hvppuQqDdH

拡大

piqcy @icoxfog417

最近流行のconditional GAN(条件指定の画像生成)。ある画像(イラスト)から画像(写真)を作り出す、画像翻訳ともいえるもの。特徴量比較でなく、GANの仕組みで「ペアかどうか」を真偽判定させる形で学習。少ないデータ(数百件・数時間 on GPU)でも学習可能なことを確認 twitter.com/cvondrick/stat…

Carl Vondrick @cvondrick

Fantastic conditional GAN results by Isola et al phillipi.github.io/pix2pix/ pic.twitter.com/zRmknPgoTu

2016-11-22 11:25:47