2023/05/17 これならわかる深層学習入門 - Forkwell ML Startup #1 皆さんのツイートまとめ
-
- いいね！0
フォークウェル@ITエンジニア転職
@Forkwell
本日19:30〜開催！ 著者の瀧雅人さんにご登壇いただきます👏 出版から6年が経ち、今や日常会話の中で「Chat GPT」などの言葉を聞くようになりました。 出版当時の深層学習と、その後どのような発展を辿ったかについてお話いただきます！ forkwell.connpass.com/event/282433/ #Forkwell_Event #Forkwell_MLS pic.twitter.com/nX3y9MKpZK
2023-05-17 12:47:07
拡大
基調講演
フォークウェル｜イベント実況アカ🤖
@Forkwell_event
始まりましたー！ forkwell.connpass.com/event/282433/ #Forkwell_MLS
2023-05-17 19:31:00
ライナス
@Linus_MK
#Forkwell_MLS 2017年、ILSVRCが終了した年（ILSVRC2012でAlexNetが初登場したのね） 自然言語処理でDLが本格的に成功し始めたのもこの年。attention/transformer。
2023-05-17 19:44:56
ライナス
@Linus_MK
#Forkwell_MLS LSTM：Transformerに取って代わられた 小規模なデータ、波形などのデータでは有効で現在でも使われる DropOut：DL初期ではよく使われて、汎化性能を出すためには必須という扱いだった。最近は以前ほど必須の手法では無くなった。
2023-05-17 19:59:51
ライナス
@Linus_MK
#Forkwell_MLS パラメータ数が多すぎるDLでなんで過学習にならずに上手くいくのかは、長らく謎であった。 良性過学習によって汎化性能が達成できる説。
2023-05-17 20:02:45
ライナス
@Linus_MK
#Forkwell_MLS arxiv.org/abs/2206.07682 これか。Emergent Abilities of Large Language Models
2023-05-17 20:13:00
Q&A
TOMIOKA Hiroshi
@tomioka
深層学習モデルがブラックボックスなのは入力データも中のパラメータも大きすぎるから。それらのパラメータや入力データの全部を説明するのは難しいが、特に重要度の高いパラメータや寄与度の大きい入力データを特定しその説明でモデル自体の説明性を向上させるのが通常の方法となる #Forkwell_MLS
2023-05-17 20:22:31