-
shima__shima
- 2190
- 15
- 1
- 0
-
- いいね！0
しましま
@shima__shima
Best student論文 Model-Based Reinforcement Learning Exploiting State-Action Equivalence，強化学習で状態-行動ペアを同値なクラスにまとめて学習を効率化する
2019-11-18 16:34:35
Yusuke Hayashi 林祐輔 𝕏
@hayashiyus
スーパーインターンとして大活躍中のなかひこくん @takanakahiko らのチームが開発してくれたメタ学習モデルの（高速）デモです．3-way 1-shot learning task（各クラスあたり１サンプルの参考画像しか使えない，という制約条件下の３クラス分類）を高速で解きます #ACML2019 twitter.com/takanakahiko/s…
2019-11-18 16:35:27
なかひこくん さんと他98人
@takanakahiko
現在 ACML2019 にて展示中の @Japan_D2 ブースでは， @hayashiyus さんたちが考案した機械学習モデルを使用したデモを試すことができます．(たぶん) 予めメタ学習タスクを行うことで学習と判定を一瞬で行うため，高速に結果を返します． 私は実装面を担当しました． m-ais.japan-d2.com/acml2019 pic.twitter.com/tawlo60zBR
2019-11-18 15:30:50
Yusuke Hayashi 林祐輔 𝕏
@hayashiyus
@takanakahiko ACML2019 には，Japan Digital Design @Japan_D2 のブースも出展しています．現在，このブースでは，なかひこくん @takanakahiko らが開発してくれたデモの体験スペースがあります．ACML2019 の会期は明日まで．ぜひお越し下さい．ちなみに，私のポスターもみていって下さい．#ACML2019 pic.twitter.com/9d0BIAT7cq
2019-11-18 16:40:57
拡大
Kosuke Shinoda
@KosukeShinoda
ACMLは知らない単語が多くて頭がパンクしていて楽しい。以前よりは少しは知っている単語が増えてはいるし、文脈として何をしようとしているのか掴めるが細かいところはまだまだ勉強が必要かな
2019-11-18 17:32:26
しましま
@shima__shima
二つ目の招待講演はJames Kwokさん，深層ネットの圧縮について． 深層NNの容量は必要以上に大きいので，たいてい精度低下なしに簡潔化可能 pic.twitter.com/togTUjGh0p
2019-11-18 17:43:30
拡大
拡大
拡大
しましま
@shima__shima
ここでは，32bitのフル精度重みを1/2bitにする量子化を扱う BPの順伝播の前に毎回重みを量子化して，逆伝播でフル精度の重みを更新 さらに，損失への影響を考慮した量子化を提案．最適化は平滑でない項があるので工夫が必要 pic.twitter.com/rPXGtsX6o2
2019-11-18 18:03:17
拡大
拡大
拡大
しましま
@shima__shima
LSTMは単純に量子化しても精度低下が起きるが，いろいろ正規化を導入すると回避できるとのこと． パラメータをサーバで共有する分散計算についても
2019-11-18 18:04:06
しましま
@shima__shima
ベスト論文は A Generalization Bound for Online Variational Inference，オンライン勾配降下の変分近似の理論解析
2019-11-18 18:04:18
kota matsui
@matsui_kota
ACML special session was over. Did you enjoy the Nohgakudo? pic.twitter.com/J4Jml1dNAk
2019-11-18 18:32:03
拡大
拡大
拡大
拡大
Aleksandr Drozd
@bkbrd
Few more line of code before the last day of #ACML2019 at Nagoya. pic.twitter.com/DWi6E6r4vt
2019-11-19 08:08:19
拡大
おおたまん
@ohtaman
ACMLの招待講演は Edge Machine Learning。 FastGRNN、精度がGRU並なのに軽量で速度半端なくてすごい。 #ACML2019
2019-11-19 09:42:56
しましま
@shima__shima
三つ目の招待講演はMSRインドの Prateek Jain さん．IoTデバイスで動く小さなモデルの学習． 通信帯域，遅延，エネルギー消費，プライバシの問題でモデルをサーバで動かせないことはよくある． MSの小規模デバイス用学習ライブラリ github.com/Mcrosoft/EdgeML pic.twitter.com/IEzhszq3xS
2019-11-19 11:19:43
拡大
拡大
拡大
拡大
しましま
@shima__shima
ProtoNN: 近傍法，低次元のプロトタイプにデータを射影しておく プロトタイプはメモリ上限の制約下で歪みが最小になるようにする pic.twitter.com/OidDiscd8P
2019-11-19 11:22:03
拡大
拡大
しましま
@shima__shima
FastGRNN：前状態からの入力変換行列のランクを制限すると予測精度が下がるが，前状態のベクトルとの線形結合で精度を向上．さらに，次状態にどれだけ伝えるかのゲートを設けることで，予測精度の低下を防いで，モデルのパラメータを減らした． pic.twitter.com/79BCZWhEo6
2019-11-19 11:24:25
拡大
拡大
拡大
拡大
しましま
@shima__shima
小型の専用デバイスを開発している：DSPとかを積んでて，ローカルで音声認識ができる． pic.twitter.com/F0V6ktxd8Q
2019-11-19 11:24:59
拡大
拡大
しましま
@shima__shima
Cynthia Rudin さんのKDD2019の基調講演 youtu.be/wL4X4lG20sM は，説明のために簡潔なモデルを考えていた．ここで，モデル候補集合中で，実用に耐えるモデルの集合である羅生門集合というBreimanさんの考えが使われていた． 同様の考えが小さなデバイスのモデルでの議論でも当てはまりそうだ．
2019-11-19 11:25:12
しましま
@shima__shima
最後の招待講演は原田さん@東大，少数データからの画像認識 変わったクラスの画像はラベル付きデータがあまりない pic.twitter.com/x19EMi8BSV
2019-11-19 11:26:17
拡大
拡大
拡大
しましま
@shima__shima
between-class (BC) 学習：二つのクラスのデータをランダムに混ぜると，混合比に応じた割合でそれらのクラスとして認識される → 二つ分のクラスのデータが使えてデータを節約できる 二つのクラスがよく分離していて，全クラス間にあまり相関がないときにうまくゆく pic.twitter.com/hFXIZW1WkG
2019-11-19 11:28:00
拡大
拡大
拡大
拡大
しましま
@shima__shima
discrepancy に基づくドメイン適応：discrepancy は二つの分類器で，分類結果が変化する転移先データの数 元データで discrepancy を最大化する二つの分類器を求め，転移先データのラベルをよく分離できて，確実なラベルを付与する． pic.twitter.com/IHubCp2W9B
2019-11-19 11:29:54
拡大
拡大
拡大
拡大
しましま
@shima__shima
画像生成の訓練データ数を減らす：カーネルになる画像を生成させて，それらの合成で，高精度画像を作り出す pic.twitter.com/ODZ1faYc9c
2019-11-19 11:30:59
拡大
拡大
拡大
拡大