Repro Tech #7 Practical AI Supported by NAVITIME
-
threetreeslight
- 2130
- 2
- 0
- 15
-
- いいね！15
Tommy Starfield
@tommy_starfield
機械学習の開発サイクル：タスクを定義する、良いモデルを開発する、モデルをアプリに埋め込む、アプリでビジネスをする。 #reprotech
2019-04-04 19:45:45
threetreeslight
@threetreeslight
ImageNet + ResNet-50で147時間の学習時間、、、すごい長さだ、、、 #reprotech
2019-04-04 19:48:05
🍋幕ノ内OL(小結)🎖️ガタケ176 カツケット E-20b
@KiKiKi_KiKi
機械学習(深層学習)の開発サイクル タスクの定義 -> モデルづくり -> モデルをアプリに組み込む -> アプリでビジネス よきモデル作るところが大変。#reprotech
2019-04-04 19:48:12
Tommy Starfield
@tommy_starfield
強いモデルを作るために - よいデータで学習すること - よいネットワークであること - よいレシピで学習すること - よいハイパーパラメータが与えられること - 何度も繰り返し試行錯誤すること #reprotech
2019-04-04 19:48:57
🍋幕ノ内OL(小結)🎖️ガタケ176 カツケット E-20b
@KiKiKi_KiKi
Deep Learning でモデル作る説明ありがたい🙏 #reprotech
2019-04-04 19:52:52
threetreeslight
@threetreeslight
2年で数時間かかっているのが2分前短くなっている。。 すごい進化や。。。 #reprotech
2019-04-04 19:56:26
🍋幕ノ内OL(小結)🎖️ガタケ176 カツケット E-20b
@KiKiKi_KiKi
1GPUで速くする ref Chainer/ChainerMNのCPUリソース不足による速度低下と解決法qiita.com/shu65/items/59… Chainer/ChainerMNのおすすめなプロファイルの取り方＆プロファイルの見方の注意点 qiita.com/shu65/items/42… #reprotech
2019-04-04 19:56:47
threetreeslight
@threetreeslight
1枚のGPUに食わせるミニバッチをたくさんのGPUに並列に食わせる。 同じ時間で数倍の画像を食わせて早くできる #reprotech
2019-04-04 19:57:43
龍一郎
@K_Ryuichirou
バッチサイズを大きくする話が出てきた。通信速度が大切になると思うんだけど、どう解決してるんだろう。。？ #reprotech
2019-04-04 19:57:48
Tommy Starfield
@tommy_starfield
Accurate, Large Minibatch SGD: Training ImageNet in 1 Hour arxiv.org/abs/1706.02677 #reprotech
2019-04-04 19:59:23
龍一郎
@K_Ryuichirou
Linear Scaling Rule (バッチサイズをk倍にしたいときにはLearning Rateをk倍にすればいい) は面白いなあ！ #reprotech
2019-04-04 19:59:25
threetreeslight
@threetreeslight
2017年まではバッチサイズをあまりおおっ育すると汎化性能が落ちる -> Facebook がバッチサイズをk倍にしたいときは学習率をk倍にすることで汎化性能を劣化させない #reprotech
2019-04-04 19:59:34