10周年のSPコンテンツ!
17
piqcy @icoxfog417
言語モデルのタスクで、CNNでLSTM同等以上の精度を出したという話。畳み込んだ結果をGRUに近い機構で処理し、過去の情報が消失しないようにしている。Google Billion Wordのデータセットでは、LSTMと同等の精度を出す一方計算効率が20倍程度改善された。 twitter.com/Smerity/status…
piqcy @icoxfog417
合成画像で学習できると良いけど独特のクセにより上手くいかない、という点を克服する試み。より「本物らしく」するNN対見破るNNで学習(GAN)。元からかけ離れた「本物化」を防ぐため元画像との差異を利用した正規化などの試みがとられている arxiv.org/pdf/1612.07828…
piqcy @icoxfog417
機械学習の仕組みと応用方法をわかりやすく解説してるMachine Learning is Funの連載第6回目。音声認識についてで、音声をどうデータ化するのか、といったところから丁寧に解説されている。 twitter.com/ageitgey/statu…
piqcy @icoxfog417
facebook公式のMemory Networkの実装。言語モデルから対話による学習まで、幅広い実装が公開されている。 twitter.com/soumithchintal…
piqcy @icoxfog417
@icoxfog417 ただ、大規模なラベル付きのデータセットではなくても学習できる、と言う話なだけで事前学習そのものの有効性が失われたわけではない。 twitter.com/icoxfog417/sta… ラベル付きのデータがない場合、また深層な場合は初期化方法として有効に使える。 pic.twitter.com/E01VTqdj2K
拡大
piqcy @icoxfog417
2016年最後の仕事、Udemyでアプリケーション開発者向けの機械学習講座を開講しました。 機械学習単体だけでなく、導入プロセスや設計方法など「実際どうするのよ?」という所に答えらえる内容を目指しました。年末年始のお供によろしくです udemy.com/ml_for_app_dev… pic.twitter.com/Z6TtbtYZZf
拡大
piqcy @icoxfog417
事前学習の有効性を示すデータ(Hinton先生講義)。やらないでもいいがやればより上手くいくということか。3次元の強化学習で教師なしを導入した例もあったので(↓)事前学習というよりは教師なしの特徴抽出の文脈に移行しただけかもしれない github.com/arXivTimes/arX… pic.twitter.com/0TpGn0D0tq
拡大
拡大
拡大
Shinya Yuki @shinyaelix
強化学習の失敗例。これを報酬に設定すればいいはず、と思ってもagentが思わぬ挙動をしてしまう場合がある。動画が分かりやすい。Faulty Reward Functions in the Wild : openai.com/blog/faulty-re…
piqcy @icoxfog417
そして統計といわゆる人工知能のタスクの違いについての解説。 統計は低次のノイズが含まれたデータから法則性を見つけ出すこと、人工知能は高次のデータ内に潜む多数の複雑な構造を表現することを目指している、としている。 これは手法の選択を行う際の指針にもなると思う。 pic.twitter.com/zu6A4YISjT
拡大
piqcy @icoxfog417
Hinton先生の講義で、なぜBackpropが過去上手くいかなかったのか~と言う話。多層では上手くいかなかった、というのが定説だが計算速度とデータ量、初期化の問題が本当の所だ、という指摘。 実際今では事前学習とか誰もやっていないので、この点が明らかにされてすっきりした感がある。 pic.twitter.com/NVRtBIZ1pY
拡大
Shinya Yuki @shinyaelix
非常に読み応えのある大変気合いの入った記事。翻訳を中心としたGoogle Brainが描かれている。メンバーのバックグラウンドだったり、TPUの話なんかも出てきて面白かった。The Great A.I. Awakening: nytimes.com/2016/12/14/mag…
piqcy @icoxfog417
そろそろAdobeあたりからこの辺りのツール(彩色レイヤの自動生成とか)出てくるのではという気がする(実際↓の研究もある)。 github.com/junyanz/iGAN ReDoログをとっていけば、↓みたいに線の生成もできるかも distill.pub/2016/handwriti… twitter.com/tai2an/status/…
piqcy @icoxfog417
SalesForce MetaMindは最近きてると思う。質問応答などの自然言語系で研究を牽引している数少ない部門と思う。 twitter.com/tuntuku_sy/sta…
piqcy @icoxfog417
こうした実運用的な話が出るようになってきて、だんだんとインフラの一部になりつつあると感じる。 Retty流『2200万ユーザを支える機械学習基盤』の作り方 on @Qiita qiita.com/taru0216/items…
Shinya Yuki @shinyaelix
良いまとめ。Highlights of NIPS 2016: Adversarial Learning, Meta-learning and more blog.aylien.com/highlights-nip…
Yoh Okuno @yoh_okuno
書きました。RNNにおけるDropoutの適用について qiita.com/yoh_okuno/item…
piqcy @icoxfog417
2年間Kaggleのトップで有り続けたJEREMY HOWARDさんがおくる、数学の知識がなくても学べる実践的なDeep Learningのコース。CNNとRNNをカバーしていて、学習過程でExcelをからめるなど初心者フレンドリーな内容になっているもよう。 twitter.com/antgoldbloom/s…
piqcy @icoxfog417
BackPropagationは一度手で実装してみること。確かに多くのフレームワークで自動でやってくれるが、その仕組みを理解することは有意義であるし、計算過程でいわゆる「勾配の消失」がなぜ、どのように起こるのか理解できる。それは実装ミスの防止にも役立つ。 という、ありがたい教え twitter.com/karpathy/statu…
piqcy @icoxfog417
産業/学術団体独立な、ニューラルネットワークを利用した翻訳モデルのオープンソース。実装はTorchベース。ハーバード大が主導している模様。 twitter.com/harvardnlp/sta…
piqcy @icoxfog417
Encoder-Decoderモデル(with Attention)を使って、文を論理式に変換するという研究(例: 面先が一番大きい県の人口は?⇒(人口: i (argmax _ (県:k _) (面積:i _))))。Lisp的。 arxiv.org/abs/1601.01280
piqcy @icoxfog417
ラベル付けされたデータを作るのはとても大変だから、データのあるソースからデータのあまりないターゲットの画像が作れたらいいよね、という話。ソース⇒ターゲットの画像生成を行うGANを作成し、ドメイン適用を実現。生成画像だけを使った学習で、ほかの手法に対し最高精度を達成。 twitter.com/bousmalis/stat…
piqcy @icoxfog417
何かのイベント(手を上げたらとか)をトリガに発生する時系列データは、挙動があるタイミングが疎のため既存のLSTMでは学習が難しい(混在するならなおさら)。そこで、時間情報から今ONなのかOFFなのかを制御するPhaseゲートを設けて学習する話。TensorFlow実装有 twitter.com/hardmaru/statu…
残りを読む(566)

コメント

piqcy @icoxfog417 2016年5月9日
自然言語処理におけるCNNのわかりやすい記事を追加
piqcy @icoxfog417 2016年5月16日
まとめを更新しました(~5/16)。
piqcy @icoxfog417 2016年6月8日
まとめを更新しました。
piqcy @icoxfog417 2016年7月10日
まとめを更新しました。自然言語成分が多めです
piqcy @icoxfog417 2016年7月17日
ICML & CVPRは要チェック。チュートリアルが充実しています。
piqcy @icoxfog417 2016年7月24日
7/18週の更新。ICML読み回は要チェック。そしてChristopher Manning 先生の自然言語理解の資料はとても分かりやすいのでお勧めです。
piqcy @icoxfog417 2016年7月31日
7/25週の更新。TensorFlowを利用したアプリケーション開発の講座は、動かしてみるから一歩進みたいという時にお勧めです。 https://www.kadenze.com/courses/creative-applications-of-deep-learning-with-tensorflow/info
piqcy @icoxfog417 2016年8月6日
8/1週の更新。Deep Learning Summer Schoolの資料と、DeepMindの研究は要チェック。
piqcy @icoxfog417 2016年8月20日
8/15週の更新。とうとうFacebookがBot構築ライブラリを公開+ACL論文の残りを更新。分散表現を扱っている方は要チェック。
piqcy @icoxfog417 2016年8月28日
8/22週の更新。facebookもいろいろな機械学習系のツールを公開し始めました。
piqcy @icoxfog417 2016年9月3日
8/29週の更新。NLP若手の会(YANS)開催週
piqcy @icoxfog417 2016年9月10日
9/5週の更新。DeepMindのWaveNetにより、とうとう高精度な生成モデルが音声にも。
piqcy @icoxfog417 2016年9月23日
9/12週からの分をまとめて行進。Amazon、Googleが対話系の会社を買収し、いよいよBot戦争が本格化する様相を呈してきました。
piqcy @icoxfog417 2016年10月1日
9/26集のまとめ。YouTube 8MやOpenImagesなど、Googleから相次いで大規模なデータセットが公開された週
piqcy @icoxfog417 2016年10月10日
10/3週の更新。CEATEC JAPANで様々な発表があった週。
piqcy @icoxfog417 2016年10月15日
10/10週の更新。DeepMindから新しい発表があった週ですが、個人的にはKeras.jsが一押しです。
piqcy @icoxfog417 2016年10月23日
10/17週の更新。StackOverflowがKaggleでデータを公開。日本のサービスもこの流れに続いてほしいところ。
piqcy @icoxfog417 2016年10月29日
10/24週の更新。Hinton先生のRNNについての新作、要チェック。
piqcy @icoxfog417 2016年11月6日
10/31週の更新。EMNLPとICMLのレビュー日?が近くなってきたせいかばんばんと情報が出てきております。
piqcy @icoxfog417 2016年11月13日
11/7週の更新。ICMLの公開レビューが始まり、画像系・強化学習系を中心とした論文が多く出てきています。
piqcy @icoxfog417 2016年11月19日
11/14週の更新。強化学習によるネットワークのパラメーターや挙動の調整が目立ってきた印象
piqcy @icoxfog417 2016年12月3日
11/28週の更新。Amazonがre:Inventで機械学習関連サービスを続々と発表、TensorFlow 0.12がリリースされるなど。
piqcy @icoxfog417 2016年12月10日
12/5週の更新。OpenAI、DeepMindから新しい強化学習のプラットフォームが発表され、強化学習が熱い週でした。
piqcy @icoxfog417 2016年12月17日
12/12週の更新。NIPS 2016まとめは要チェック。
piqcy @icoxfog417 2016年12月23日
12/19週の更新。アドヴェントカレンダーでの記事も増えてきました。
piqcy @icoxfog417 2017年1月1日
2016年分最後の更新。LSTM vs CNNが激化してきました。
ログインして広告を非表示にする
ログインして広告を非表示にする