1468pv
2
「言語モデル」の検索結果
まとめの中から「言語モデル」の検索結果を表示しています。
-
言語モデル論第10回
#言語モデル論型階層 #言語モデル論#言語モデル論#言語モデル論#言語モデル論#言語モデル論タイプシステム続き #言語モデル論#言語モデル論#言語モデル論#言語モデル論 続きを読む
1112pv
2
-
言語モデル論第11回
言語モデル論はじまるよー #言語モデル論単一化 #言語モデル論練習問題 #言語モデル論終わり #言語モデル論丸ノ内線一択 #言語モデル論単一化でできるのか #言語モデル論今日の面白さ指数41/90 #言語モデル論何言ってるかさっぱり分からん #言語モデル論質問(query)は否定疑問文に対応する #言語モデル論手続き的解釈ではこれらが問題になる #言語モデル論 続きを読む
885pv
1
-
ChatGPTなどの大規模言語モデルと日本の「個人情報保護」はどう関係してくる？高木浩光先生の見解
大規模言語モデルは概念の抽象化蓄積である。今こそ知の解放を。大規模言語モデルは概念の抽象化蓄積である。今こそ知の解放を。大規模言語モデルはその仕事を脅かすだろう。抵抗せず、淘汰され、次の段階に進むべき。ChatGPT等の大規模言語モデルに「個人情報保護」云々が政治課題化してきたようなので、取り急ぎ私見の概略を述べておきたい。個人データ保護... 続きを読む
12158pv
90
57 users
20
-
LINEの日本語に特化した超巨大言語モデルと計算量
以下に書くけど計算量が減っていると言う話があってね… LINE、NAVERと共同で、世界初、日本語に特化した超巨大言語モデルを開発 新規開発不要で、対話や翻訳などさまざまな日本語AIの生成を可能に〜超巨大言語モデルは〜略〜ごく少数の取り組みが発表されているのみ〜略〜その理由の一つとして〜略〜世界でも指折りの性能を持つスーパーコンピュータなど、高度... 続きを読む
1331pv
-
ChatGPTの頭のなか，一体どうなってんの？:追記
元の論文でInstructGPT-3が賢くなる呪文とされている言葉は英語の「Let's think step by step」ですが、Chat GPT-4に対して日本語の「一歩ずつ考えよう」が効くということは、特定の言語モデルや言語の種類によらず、大規模言語モデルの内部で似た変化がと思うかもしれないですが，大規模言語モデルはただひたすらに大量のテキストから単語と単語の関係性を学んでいるだけな... 続きを読む
6187pv
23
20 users
-
2011/01/22 第4回 自然言語処理勉強会＠東京
juliusの言語モデルだった。#TokyoNLP音声認識のためのN-gram言語モデル by さん 開始 #tokyonlp「音声認識のためのN-gram言語モデル」 ( さん) #TokyoNLP音声認識のためのN-gram言語モデル by さんの発表開始 #TokyoNLPRT : 音声認識のためのN-gram言語モデル by さんの発表開始 #TokyoNLP恐らく先ほどの言語モデルはこちらのエンジンのもの 音声認識エンジン julius : #TokyoNLP#TokyoNLP 音声認識の概... 続きを読む
1414pv
-
Kaggle Kuzushiji Recognition Competition発表の感想
言語モデル効かないのね #kaggledaystokyo文字認識なのに言語モデルうまくいかない #kaggledaystokyokuzushijiは言語モデルうまく行かなかった #kaggledaystokyo途中に漢文が入っているので、言語モデルが上手くいかない #kaggledaystokyoドメイン知識ある人がくずし字言語モデル HIKARUGENJI みたいなのを作るのが待たれる #kaggledaystokyo言語モデル効かないのは ・万葉かな ・漢文 ・漢字＋ひ... 続きを読む
2626pv
10
2 users
53
-
第４回 #TokyoNLP
juliusの言語モデルだった。#TokyoNLP音声認識のためのN-gram言語モデル by さん 開始 #tokyonlp音声認識のためのN-gram言語モデル by さんの発表開始 #TokyoNLP「音声認識のためのN-gram言語モデル」 ( さん) #TokyoNLP恐らく先ほどの言語モデルはこちらのエンジンのもの 音声認識エンジン julius : #TokyoNLP#TokyoNLP 音声認識の概要) 音声データ（LPCM＝＞スペクトル）＝＞音声認識エンジン（T... 続きを読む
3213pv
5
2 users
-
入力メソッドワークショップ 2013
機械翻訳の分野適応と同じ設定なので、方言コーパスをウェブなどから大量にかき集めて言語モデルとして分野適応すればよくなりそう。今後は入力に応じて逐次的に標準語の言語モデルを方言の言語モデルに適応するような方向を模索したい。 #IM2013今回は単純に標準語コーパスに方言コーパスを足しているが、方言に対する分野適応の問題なので、標準語言語モデル... 続きを読む
3337pv
13
1 user
-
InfoTalk#19（I18N関連技術）
言語モデル：既存の文章を形態素解析して、クラス言語モデルを作成。GoogleのWebデータをMapReduceによって処理。すなわちWebページを日本語のお手本にしている。 #infotalkRT : 言語モデル：既存の文章を形態素解析して、クラス言語モデルを作成。GoogleのWebデータをMapReduceによって処理。すなわちWebページを日本語のお手本にしている。 #infotalkRT : RT : 言語モデル：既存の文... 続きを読む
4116pv
-
AIの無断学習が批判されているが機械翻訳も無断学習だけどみんな使ってる。「絵は保護するが文章は保護しない」という考え..
「自動翻訳AIや大規模言語モデルの無断学習は許せるし、便利に使うけれど、画像生成AIの無断学習だけは許せない」という意見は、やはりダブルスタンダードになってしまうと思います。「無断学習が問題だ」と主張したいのであれば、自動翻訳AIも大規模言語モデルも使ったことがないか、あるいは、少なくとも今後は絶対に使わないと心に誓う必要があるのではな... 続きを読む
6092pv
12
1 user
-
自然言語処理（BERT, Transformers, GPT-3など）関係
The Optimal BERT Surgeon: Scalable and Accurate Second-Order Pruning for Large Language Models 事前にトレーニングされたTransformerベースの言語モデルは、自然言語処理（NLP）タスクPERT: Pre-training BERT with Permuted Language Model Comment: 14 pages 事前トレーニング済み言語モデル（PLM）は、大規模なコーパスでトレーニングされた強力なテキスト表現により、さまざまな自然言語処理（NLP）タスクThe Optimal... 続きを読む
1255pv
5
43
-
「いらすとや」は要らなくなっちゃう？テキストで説明するとそれに沿った何パターンもの画像を生成するOpenAIが凄まじい
GPT-3開発に関わったIlyaの主張が載ってる 『2020年は、汎用モデルが経済的に有用なものになった最初の年だった。大規模言語モデルが驚くほどの言語能力を持ち、幅広い有用なタスクを実行できることを実証した』 『2021年、言語モデルは視覚的な世界を認識し始めるでしょう』『言語モデルをテキストと画像の両方にさらし、幅広い人間との相互作用を通じて学習させ... 続きを読む
176533pv
694
1056 users
746
-
【速報】GPT-4先生が日本の医師国家試験に合格！！！
過去5年間にわたる試験で複数の大規模言語モデルをテストした所GPT-4は5年間全てに合格したとのこと。日本語においてもLLMの可能性を示唆。過去5年間にわたる試験で複数の大規模言語モデルをテストした所GPT-4は5年間全てに合格したとのこと。日本語においてもLLMの可能性を示唆。過去5年間にわたる試験で複数の大規模言語モデルをテストした所GPT-4は5年間全てに合... 続きを読む
6539pv
20
1 user
39
-
2023年春のAI狂想曲
最近話題になった大規模言語モデルまとめ｜npaka #noteAI に人間らしさをもたらした 大規模言語モデル - 日経サイエンス日本語に特化した13億パラメータのGPT言語モデルを公開｜rinna株式会社90億パラメータの視覚&言語モデル「OpenFlamingo🦩」が発表された（学習と評価のためのフレームワークも） Metaが発表した70億パラメータの言語モデル「LLaMA🦙」に基づいて構築。グ... 続きを読む
2784pv
3
1 user
-
日本音響学会2012年春季研究発表会 第三日目（最終日）
言語モデルセッション開始です #asj2012s #音声A言語モデルの部分的混合、WFSTで実現。 #asj2012s #音声A書き言葉、口語体、話し言葉と変換して、言語モデルをそれぞれ学習。 #asj2012s #音声A言語モデルの教師なしクロスバリデーション適応、テストセットパープレキシティの最小化。 #asj2012s #音声A 続きを読む
1993pv
5
-
Google日本語入力についての個人的なまとめ
Google IMEは単語の品詞情報をうまく利用して、言語モデルの圧縮を行っているものと思われる。統計的言語モデルはメモリを大量に食うので、ローカルで動かすに当たってそれをどう解決したのかが気になっていた。となるとスパースなモデルで学習してそう。RT そのモデルは Microsoft IME ではなく Office IME じゃないかと。2007/2010 共。というかそれってMS IMEのモデルとほと... 続きを読む
4888pv
7 users
1
-
Auto-GPTをちょっと触ってみた雑感
ただ、問題が複雑になって必要なドメイン知識がChatGPTへ渡せるトークン限界を越えてしまうと、精度が落ちそうなので、特化した専門分野は専用の言語モデルを用意するのが最終的な解になるんじゃないかなー まあ、専門分野ごとに言語モデルがファインチューニングされていくんだろうけど 続きを読む
805pv
-
係り受け解析に文節の概念は必要か否か？
言語モデルとしてはすでに「扱いやすい」といえるが、自然言語処理は広い。前にも言いましたが、文節単位の言語モデルでIME作りたいぐらい。音声認識では、言語モデル（単語n-gram）だけでカバーできるとしてますよ。でもまあ、単語1-gramがあるんだから任意の単語列をカバーするか。 ry) 文節を構成する単語列は文法的に決まり、言語モデルだけでは漏れ無く候補列... 続きを読む
12267pv
65
30 users
5