LINEの日本語に特化した超巨大言語モデルと計算量

Transformerの計算量は多いけど、OpenAIのブログによればアルゴリズムの改良で計算量が減っていると言う話があって…
1
sih5632 @sih5632

以下に書くけど計算量が減っていると言う話があってね… LINE、NAVERと共同で、世界初、日本語に特化した超巨大言語モデルを開発 新規開発不要で、対話や翻訳などさまざまな日本語AIの生成を可能に linecorp.com/ja/pr/news/ja/…

2020-11-25 21:15:16
sih5632 @sih5632

〜超巨大言語モデルは〜略〜ごく少数の取り組みが発表されているのみ〜略〜その理由の一つとして〜略〜世界でも指折りの性能を持つスーパーコンピュータなど、高度なインフラ環境が必要〜とあるけど、アルゴリズムの改良で計算量が減っていると言う話があってね…以下。 openai.com/blog/ai-and-ef… #AI

2020-11-25 21:18:52