Sangmin @ChoimiraiSchool
@gijigae
アリババの人工知能チームが @Stanford 大学の読解力テストで人間に始めて勝ったのが、今年の1月。スコアは、
・人：82.304
・AI：82.44
グーグルの《BERT》でトレーニングさせた人工知能のスコアは何と、87.433！10カ月で5ポイントも上げている。人間とマシン、読解力の差は今後更に広がる🤖。 twitter.com/GoogleAI/statu…
小猫遊りょう（たかにゃし・りょう）
@jaguring1
Google AI ブログ
Open Sourcing BERT: State-of-the-Art Pre-training for Natural Language Processing
ai.googleblog.com/2018/11/open-s…
今、ものすごい話題になっているBERTの話（たくさんの自然言語理解タスクで衝撃的な成果を叩き出した手法）。
質問応答タスクSQuAD v1.1では、人間越えの性能！！！ pic.twitter.com/ocQlHC3qMa
拡大
拡大
Ryobot
@_Ryobot
GLUEベンチマークの全言語理解タスクでぶっちぎりのSOTA！
質疑応答タスクのSQuADでもSOTA！
話題の手法BERTってなにっ？（24層16注意ヘッドのTransformer！？）
paper: arxiv.org/abs/1810.04805 pic.twitter.com/dAr3Lq9rPi
拡大
拡大
拡大
拡大
Ryobot
@_Ryobot
結局BERTの何が恐ろしいかって言語モデルを一回学習させとけばおそらく機械翻訳や対話生成とかも汎用的にブーストできる万能薬なのに副作用がないとこなんだよなぁ（だからpretrainモデルが公開されたらNLP全域でくそ流行ると思ってる）
twitter.com/_Ryobot/status…
Yuya Soneoka / ELYZA
@sone_oak
大きなTransformerを双方向にして、大きなコーパスで事前学習し、転移学習したところ、NLPタスクの精度を不連続にあげたBERT。GNMT・GQNのような力業の側面も少しあるが、NLPが人間並の精度を出す可能性を示した。 twitter.com/DL_Hacks/statu…
Yuya Soneoka / ELYZA
@sone_oak
現時点で最強モデルBERTの本家コードと学習済みモデル。論文に書いていた通り、10月末の公開。さすがです！
github.com/google-researc…
小猫遊りょう（たかにゃし・りょう）
@jaguring1
SWAGデータセット（常識推論タスク）において、BERTが早々に人間レベルに到達！？
BERT（2018年10月11日！！！）
arxiv.org/abs/1810.04805
SWAG（2018年8月16日！！！）
arxiv.org/abs/1808.05326 pic.twitter.com/QwpQa697mz
拡大
小猫遊りょう（たかにゃし・りょう）
@jaguring1
Soneokaさん「NLP（自然言語処理）が人間並の精度を出す可能性を示した」
新井紀子さん、いまBERTの論文読んでるところかな？でも、OpenAIの論文（言語理解タスクで大幅に改善した研究）については、まったく触れてないよね？もう数か月も経ってるのに。どう思ってるのか、だれか聞いて（）
Kazunori Sato
@kazunori_279
Google、事前学習済みの自然言語処理モデル、BERTを公開。NLPモデルがより手早く構成可能に。日本語対応は年末を予定。 ai.googleblog.com/2018/11/open-s…
OSS_News
@OSS_News
【OSS】Google、言語表現事前トレーニング手法「BERT」をオープンソース公開---最新の質問応答システムを30分で訓練
Googleは、言語表現事前トレーニング手法 ossnews.jp/oss_info/artic…
Kiyoshi SATOH
@stealthinu
言語系で色々と驚異的に性能があがったBERTのコードと学習済みデータが公開。Fine-tuningは64G積んだTPUで可能とのこと。24-layer, 1024-hidden, 16-heads, 340M parameters… htn.to/A2JZZ2
小猫遊りょう（たかにゃし・りょう）
@jaguring1
[2018] BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
github.com/yoheikikuta/pa…
「あとは実験結果。この論文は結構色々な実験をしている。まずはストレートに先行研究との比較ということで GLUE のテスト。なかなか驚きの上がりっぷりである」
karino2@貴族階級
@karino2012
BERTはNLPのtransfer learningの決定版になるんですかね。NLPの応用一気に進むか？ twitter.com/yohei_kikuta/s…
kibou
@hikarinonakano7
東大の松尾豊氏は、日本のAIの第一人者で、ディープラーニングで将来的にAIが自然言語理解ができると断言している。新井紀子氏は、まず根本的に「知性とは何なのか」を誤解しているし、AIの専門家でもないのに、不可思議な論理で政府機関、教育現場を混乱させないで欲しい。
小猫遊りょう（たかにゃし・りょう）
@jaguring1
Improving Language Understanding with Unsupervised Learning
blog.openai.com/language-unsup…
2018年6月、言語理解タスクでも大幅な性能向上が見られた。多くのNLPタスクで最高性能を更新した。2018年10月、そこからさらに大幅な改善を実現したBERTが登場した。
小猫遊りょう（たかにゃし・りょう）
@jaguring1
正直、東ロボくんプロジェクトを通して日本からBERTを発明してほしかったな。新井紀子さんが独断と偏見で勝手に言語理解タスクは無理だと決めつけて、方向性がめちゃくちゃになっちゃったと感じる。
小猫遊りょう（たかにゃし・りょう）
@jaguring1
それに、新井紀子さんは東ロボのプロジェクトを通して、「やっぱり言語理解タスクや常識推論タスクは無理だった。数十年先というレベルで無理だ」というような結論を出していたと記憶している。それに対する批判として、いま現在の最先端を取り上げるのは別に何も間違っていないと思う。
MiL@TeamPMG 🎩
@MiL_PMG
新井紀子氏をみているとクラークの法則を思い出す。
「高名で年配の科学者が可能であると言った場合、その主張はほぼ間違いない。また不可能であると言った場合には、その主張はまず間違っている。」高名で年配の科学者かどうかには議論の余地があるが。
kibou
@hikarinonakano7
新井紀子氏は冷静に議論できる人だと思ってたけど、やはり感情的な人なんだな。自分に都合の悪い人間はブロックする。余裕がなくなっているのかな。自分の本が予想以上に売れすぎて、やべーって思ってそう。
MonaCat🍆🏰🕛
@MonaCatAI
BERTの登場で新井紀子氏へのヘイトが一気に高まってるのは面白い。結果として(？)東ロボのデータは公開されたし、影響はあったのかな。ぜひ一般層に向けて今の状況と心境について書いて欲しい。
とさか2📛🐬
@nanTosaka2
BERT特許取られたらNLP産業キツくない？と思ったけど"All code and models are released under the Apache 2.0 license."だった。ソースコードとpretrained modelsの利用がフリーで手法の利用がフリーじゃないということは流石に無いよね？
