自然言語処理（BERT, Transformers, GPT-3など）関係

So Miyagawa 宮川創 @So_Miyagawa

Prodigy買おうかな・・・どうしよう PRODIGY v1.10: Dependencies, relations, audio, video, extended NER and i... youtu.be/KCrIa538u4I @YouTubeより

拡大

So Miyagawa 宮川創 @So_Miyagawa

Great interview!! Interview w @_inesmontani | Spacy, NLP & Open Source Frameworks | Explosi... youtu.be/C5DGFSDlMBM @YouTubeより

拡大

nikkie / にっきー @ftnext

今夜私が（話を聞かせて）いただくのは #はんなりPython 自然言語処理ハンズオン第2弾。 2月の続編です。 BERTでテキスト分類や文章抽出、ばーっと体験するぞー、おー！ hannari-python.connpass.com/event/240620/

So Miyagawa 宮川創 @So_Miyagawa

【図解】注目される自然言語処理 -episode 3- ainow.ai/2021/05/20/255…

So Miyagawa 宮川創 @So_Miyagawa

【自然言語処理】アノテーションがぐっと楽になる！ お助けツールprodigyについて｜朝日新聞社 メディア研究開発センター @asahi_ictrad #note note.com/asahi_ictrad/n…

Qlipper【公式】 @Qlipper2

Googleが導入したBERTとは？最新の自然言語処理技術”BERT”が与える影響は？ service.plan-b.co.jp/blog/seo/21067/

nikkie / にっきー @ftnext

偶然知ったのですが、朝倉書店さんから4/9予定で『Transformerによる自然言語処理』発売されるみたいです asakura.co.jp/detail.php?boo… 2021年1月に出た原著の翻訳のようで、BERT、RoBERTa、T5、GPT-2,3などちょうど本日の言語処理学会 #NLP2022 転移学習チュートリアルでも学んだあたり。 読んでみたい！

arXiv cs.CL 自動翻訳 @arXiv_cs_CL_ja

The Optimal BERT Surgeon: Scalable and Accurate Second-Order Pruning for Large Language Models arxiv.org/abs/2203.07259… 事前にトレーニングされたTransformerベースの言語モデルは、自然言語処理（NLP）タスクの重要な構成要素になっています。これらのモデルは非常に正確ですが

arXiv cs.CL 自動翻訳 @arXiv_cs_CL_ja

PERT: Pre-training BERT with Permuted Language Model arxiv.org/abs/2203.06906… Comment: 14 pages 事前トレーニング済み言語モデル（PLM）は、大規模なコーパスでトレーニングされた強力なテキスト表現により、さまざまな自然言語処理（NLP）タスクで広く使用されています。この論文で

arXiv cs.CL 自動翻訳 @arXiv_cs_CL_ja

BiBERT: Accurate Fully Binarized BERT arxiv.org/abs/2203.06390… 事前にトレーニングされた大規模なBERTは、自然言語処理（NLP）タスクで優れたパフォーマンスを実現しましたが、計算とメモリのコストも高くなります。強力な圧縮アプローチの1つとして、2値化は、1ビットパラメータとビッ

Sotaro Takeshita @sobamchan

今週の6本の自然言語処理論文を紹介 BERTを生成モデルに拡張、論文ドメインでの抽象的複数文書要約データセット、vocab を低リソース言語と高リソース言語で共有するようにした tokenize 手法、等。 毎週 NLP 論文 - Issue #28 getrevue.co/profile/sobamc…

So Miyagawa 宮川創 @So_Miyagawa

UniDic2UDで近代文語UniDicを指定して明治元訳サムエル後書15:12を分析し、安岡先生のdeplacyで表示させました。「アブサロム犠牲ささぐる時に」で「アブサロム」をどうしても主語だと認識してくれず、「アブサロム犠牲」という複合語と解釈してしまいます・・・ pic.twitter.com/Mulg8RZ98w

拡大