-
- いいね！0
おかもとたくや
@taku_oka
これ気になってた。 「文字を繋げていく」だけじゃ説明つかないタスクもこなせるのはどうなってるんだろう。 学習の規模をひたすらでかいから想像を超えてるだけかな。 twitter.com/nojiri_h/statu…
2023-03-03 23:42:04
尻P(野尻抱介)
@nojiri_h
AIの仕組みについて「いまいる人類の中に、これがわかっている人はいない」と断じた記事が公開されて2日め。億単位の人が読んだはずなのに誰も反論してこないので、これは正しいと考えていいの？> 野尻抱介の「ぱられる・シンギュラリティ」第17回 嘘つきは創造の始まり kemur.jp/paragula_202302
2023-03-01 16:32:19
尻P(野尻抱介)
@nojiri_h
@Yh_Taguchi LLMは完全に観測できるのにわからないのが面白いと思うんですが、量子現象は「観測できないからわからない」とはまた別の難解さがあるんでしょうか？
2023-03-03 23:55:37
Prompt Engineering Lab (プロンプトエンジニアリング研究所)
@PromptEngLab
興味深い考察です。 twitter.com/nojiri_h/statu…
2023-03-04 00:12:48
守屋恵一@デジタル系ライター・編集者 / 仕事垢
@moriyakeiichi
>LLMは漫才の台本の作り方を出力するとき、作業手順を記述した手続き型プログラムを使わない。言葉の連想を計算するだけで、どうしてこんなことができるのだろう？ 人間の出力自体がLLMの出力方法と似ているからではないか、とちょっと思った。つまり、 twitter.com/nojiri_h/statu…
2023-03-04 00:12:55
baibai
@ibaibabaibai
「そもそもまったく同じ長い単語列は過去にないはず」というのは．実は「たくさんの変数の結合確率分布」に共通の点で，ある意味そういう「母集団」というのは架空のものであるということを示唆しているのかもしれない． twitter.com/h_okumura/stat…
2023-03-04 01:17:11
Haruhiko Okumura
@h_okumura
LLMは与えられた単語列の後に来る単語の確率分布を過去の統計から求め・・・という説明は良くないな。そもそもまったく同じ長い単語列は過去にないはずで、それでも次の単語を想像してそれが正解に近づく方向にパラメタを微調整するという訓練を延々と行ったらこういうのができたというほうが良さそう
2023-03-03 18:36:12
baibai
@ibaibabaibai
たとえば，瓶の中の気体分子の位置の同時分布でも，（連続値の位置座標を細かく離散化したとして）ほとんどの配位はいまだかって実現したことのないものである．
2023-03-04 01:19:11
baibai
@ibaibabaibai
だから頻度論はだめで主観確率・・というのはいまいちで，むしろ「少数の変数の周辺確率しか直接に計測できないのに，なぜ高次元・多変量の結合確率分布をモデルとして考えるのか」というほうにもっていく方がおもしろい．「各種の周辺確率・条件確率の整合性を保つために必要」というのが自分の答．
2023-03-04 01:22:57
baibai
@ibaibabaibai
自分もこの問題に気付いたのは自然言語の生成モデルが最初なので入口としては良い例だと思うが，実は確率を扱うあらゆる分野である段階から「巨大な数の確率分布の同時分布」をモデルとして考えるようになる．統計力学のアンサンブル理論は初期の例だが，情報圧縮や時系列解析なども同様．
2023-03-04 01:28:23
田口善弘＠発言は私の個人としての見解であり中央大学やその機関の意見を代表するものではありません
@Yh_Taguchi
@nojiri_h 波動関数は問題なく計算できますが、その波動関数がどうなっているか分からない（解釈できない）だけですね。波動関数が計算できるのだから、その物理現象がなぜきるのか説明できないといけないとおもいますが、人間にはできない。LLMも膨大な結合係数の「値」は完全に解っているから（続）
2023-03-04 05:10:47
田口善弘＠発言は私の個人としての見解であり中央大学やその機関の意見を代表するものではありません
@Yh_Taguchi
@nojiri_h （承前）結果を説明できないといけませんができません。量子力学だとそういう疑問になるなら一般に人類は非線形の多自由度偏微分方程式の解を理解できていない、という言い方の方がいいのかもしれません。要するに解けても理解できないのはLLMに限ったことではない、と言いたいんです。
2023-03-04 05:13:24
田口善弘＠発言は私の個人としての見解であり中央大学やその機関の意見を代表するものではありません
@Yh_Taguchi
@nojiri_h はい、僕はそう思っています。非線形非平衡多自由度系は計算できても理解不能なことは２０世紀末に物理学者は理解していましたがその知識は役に立たないので一般人には喧伝されませんでした。LLMで今、起きていることはまさにそれですが（続）
2023-03-04 10:20:29
田口善弘＠発言は私の個人としての見解であり中央大学やその機関の意見を代表するものではありません
@Yh_Taguchi
@nojiri_h （承前）「計算できるが理解できないのは普遍的」ということが世間に知られていないのでいろいろ驚きや誤解が生じているのだと思います。
2023-03-04 10:21:28
Munechika Nishida
@mnishi41
TLを流れていったAIに関する解説を読んで、「ベクトルを知る・知らないの先として、ベクトルで矢印的なものを思い出してしまい、言語や画像とどう関係するのかピンとこない人は多いだろうな」とは思うなど。
2023-03-09 15:55:26
尻P(野尻抱介)
@nojiri_h
このへん自信がないのでChatGPTに聞いてみた。合ってるかな？ pic.twitter.com/VltAZxwXBy twitter.com/mnishi41/statu…
2023-03-09 17:46:38
拡大
尻P(野尻抱介)
@nojiri_h
私の理解するところでは合ってると思う。ここが大事> 「計量ベクトルは、単語や文書を表すベクトルであり、各要素が単語の出現頻度や文書内での位置などを表します。また、計量ベクトル同士の演算によって、単語の類似度や文書間の距離などを求めることができます」
2023-03-09 17:57:51
尻P(野尻抱介)
@nojiri_h
言語モデルが計算しているのは単純に「いまの単語から次の単語を導く」ではなくて、 「ひとつ前の単語といまの単語から導く次の単語」とか「ふたつ前の単語とひとつ前の単語といまの単語から導く次の単語」みたいにどんどん複雑にしていくらしい。
2023-03-09 18:05:32
尻P(野尻抱介)
@nojiri_h
その複雑さがとてつもなく深くて、GPT-3だと単語ごとに1750億回計算するとかで、それだけやれば高次の機能が浮かび上がってくるのかなあ、そんな気もするなあ……ぐらいに思っているのが私の理解レベル。
2023-03-09 18:08:47
Haruhiko Okumura
@h_okumura
@nojiri_h まず計量ベクトルということばにちょっと違和感があり、数ベクトルのほうがいいでしょうか。また、大きさ・向き・位置があるというのも、もにょりました。単なる数の並びですので位置は考えないほうがいいけれど、たとえば数ベクトル(1,0,0)を幾何学的に解釈すればx軸の向きを向いていて大きさが1だと… twitter.com/i/web/status/1…
2023-03-09 18:32:05
Haruhiko Okumura
@h_okumura
@nojiri_h 英語で聞いてみました。これは違和感ないです。 > Are there two definitions of a vector? Yes, there are two commonly used definitions of a vector: 1. Geometric definition: A vector is a quantity that has both magnitude (length) and direction. It is represented by an arrow or line… twitter.com/i/web/status/1…
2023-03-09 18:34:47