自然言語処理（BERT, Transformers, GPT-3など）関係

What is BERT? | Deep Learning Tutorial 46 (Tensorflow, Keras & Python) youtu.be/7kLi8u2dJz0 @YouTubeより

2022-03-21 11:54:57

拡大

👨‍💻 では、「 BERT/バート」とは？ 📲「Transformerによる双方向のエンコード表現」と訳され、2018年10月にGoogleの Jacob Devlinらの論文で発表された自然言語処理モデルのことです。 🧐BERTの特徴として、「文脈を読むことが可能になった」ことが挙げられますね。 ledge.ai/bert/

2022-03-16 15:48:38

So Miyagawa 宮川創 @So_Miyagawa

わかりやすい。 Transformers, explained: Understand the model behind GPT, BERT, and T5 youtu.be/SZorAJ4I-sA @YouTubeより

2022-03-21 00:30:31

拡大

So Miyagawa 宮川創 @So_Miyagawa

BERTモデルを用いた日本語係り受け解析ツールSuPar-UniDicリリース | yasuokaの日記 | スラド srad.jp/~yasuoka/journ…

2022-03-21 00:03:12

Akihiro Ueno | PharmaX @ueeeeniki

前回の動画公開しました！かなり盛況でした！！【2022/03/17】【自然言語処理】PythonでBERTに入門しよう【アーカイブ】 - YouTube youtube.com/watch?v=AJdE5Q…

2022-03-19 14:20:22

拡大

arXiv cs.CL 自動翻訳 @arXiv_cs_CL_ja

The Optimal BERT Surgeon: Scalable and Accurate Second-Order Pruning for Large Language Models arxiv.org/abs/2203.07259… 事前にトレーニングされたTransformerベースの言語モデルは、自然言語処理（NLP）タスクの重要な構成要素になっています。これらのモデルは非常に正確ですが

2022-03-16 12:06:51

arXiv cs.CL 自動翻訳 @arXiv_cs_CL_ja

BiBERT: Accurate Fully Binarized BERT arxiv.org/abs/2203.06390… 事前にトレーニングされた大規模なBERTは、自然言語処理（NLP）タスクで優れたパフォーマンスを実現しましたが、計算とメモリのコストも高くなります。強力な圧縮アプローチの1つとして、2値化は、1ビットパラメータとビッ

2022-03-15 14:35:19

arXiv cs.CL 自動翻訳 @arXiv_cs_CL_ja

PERT: Pre-training BERT with Permuted Language Model arxiv.org/abs/2203.06906… Comment: 14 pages 事前トレーニング済み言語モデル（PLM）は、大規模なコーパスでトレーニングされた強力なテキスト表現により、さまざまな自然言語処理（NLP）タスクで広く使用されています。この論文で

2022-03-16 04:06:18

ステート・オブ・AI ガイド @stateofai_ja

昨年から話題の多層パーセプトロン (MLP) モデル。自然言語処理 (NLP) の分野では性能が振るいませんでしたが、言語系タスクでも「トランスフォーマー超え」を達成するモデルが最近、立て続けに発表されています。本記事では、最近発表された期待の MLP モデルを解説しました ja.stateofaiguides.com/20220322-mlp-f…

2022-03-23 11:28:19

村山理 @sam_murayama

自然言語処理の前処理・embeddingとは、単語のベクトル表現化・単語埋め込みには、文脈を考慮しないもの(wor2vec, GloVe)とするもの（異なる意味をもつ単語への対応可）(ElMo, BERT)がある・入力単位としてサブワードを用いる場合には、サブワード辞書を使用 youtube.com/watch?v=kWZYaT…

2022-03-23 19:04:45

拡大

生研マン @shonosuke_i

「言葉の形を教えてくれる自然言語処理」、一瞬で見れる自然言語処理のゴッドイントロ動画や... youtube.com/watch?v=MAWfFa…

2022-03-23 13:35:16

拡大

珠響そうき@情報工学系VTuber @tamayurasouki

ずるずると時間がズレて申し訳ないですが、次回の言語処理100本ノックは木曜夜です。【#言語処理100本ノック】自然言語処理の基本スキルを修行するよ【#5 係り受け解析後編】 youtu.be/9yZPoNva8rw @YouTubeより

2022-03-23 18:21:17

拡大

村山理 @sam_murayama

自然言語処理へのCNNの適用 1)分類問題文章の長さにかかわらず、出力の長さをそろえるためにPoolingを用いる感情分析で実績あり 2)系列ラベリング（例えば、品詞推定）でも実績あり youtube.com/watch?v=i3wgbu…

2022-03-23 19:45:41

拡大

G検定/E資格/DS検定ナビ @hpeo_dx

RNN（Recurrent Neural Network）が自然言語処理の分野で精度の向上に寄与した理由として，次は適切か。畳み込み層で畳み込み処理を行うことにより，単語の出現位置から文脈を読み取れるようになったため。 qe.hpeo.jp/entry/dlg/e71

2022-03-23 18:46:08

山本和英（言語商会広報部） @y8o

NVIDIAが新GPU「H100」　AI学習を6倍高速に、自然言語処理も超速 xtech.nikkei.com/atcl/nxt/news/… Transformerに向けたアクセラレーター回路「Transformer Engine」を備えた。同回路の搭載によって、6倍高速にトランスフォーマーの処理を実行できるとする。

2022-03-23 20:20:27