-
- いいね！0
尻P(野尻抱介)
@nojiri_h
AIの仕組みについて「いまいる人類の中に、これがわかっている人はいない」と断じた記事が公開されて2日め。億単位の人が読んだはずなのに誰も反論してこないので、これは正しいと考えていいの？> 野尻抱介の「ぱられる・シンギュラリティ」第17回 嘘つきは創造の始まり kemur.jp/paragula_202302
2023-03-01 16:32:19
zakki
@k_matsuzaki
@nojiri_h ToMに関しては有名なテストだと微妙に設問変えると失敗することあって、単に教科書やWikipediaで覚てるんじゃないかって話はありました cacm.acm.org/blogs/blog-cac…
2023-03-01 18:40:17
Yasuo Yamasaki
@yasuoyamasaki
現時点でのAI技術がどこに来ているのかのかなり正確な(と思う)メモ。メディアの「すごい、でも制限も。。」という薄いまとめとは違い、実際の研究・実験をよく追ってまとめてある。 twitter.com/nojiri_h/statu…
2023-03-01 18:56:21
Toshiro Kimura 💉PPMMP
@TK2215
@nojiri_h DeepLearningのモデルって、内部が複雑になって入出力が定式化できなくなるので、解析できないって話じゃないかなぁ。知らんけど。
2023-03-01 19:13:31
古我望2023
@coga
記事を読んでいた途中、最後にこの文章はAIが書きました、ってオチがこないか心配になって、すごくガクブルしながら最後まで読んだ。 そうじゃなくて少し安心したが、まあそうであってもおかしくないし、もうそういう時代だよなと納得したら別の意味で安心した。 twitter.com/nojiri_h/statu…
2023-03-01 19:59:17
尻P(野尻抱介)
@nojiri_h
@k_matsuzaki 参考になります。コシンスキーの実験も単語を変えるなどして配慮していますが、完全とも言えず。ちょっと実験したぐらいではわからないかなあ。
2023-03-01 20:26:25
Toshiro Kimura 💉PPMMP
@TK2215
@nojiri_h 学生時代、一個上の先輩が研究対象としてチャレンジしてたけど、結局高次項が無視できないという結論になって定式化困難となった筈。あの頃は三層NNだったけど、今のDeepNNなんてもっと複雑で、その中の構造の解析的な分析は困難なのではなかろうかと、個人的には考えています。
2023-03-01 21:05:09
尻P(野尻抱介)
@nojiri_h
@kRpN4zdzZWufwd6 そうかもしれないけど、だとすると「パラメーター数を増やしたらできた」みたいな話しか流れてこないのは、情報統制がうまくいってるってことですね。
2023-03-02 00:07:12
ひろし
@kRpN4zdzZWufwd6
@nojiri_h 10億ドル以上の投資が今までにされていて、これから100億ドルつぎ込もうという飯の種ですから、社員の守秘義務も徹底しているのでしょうね。
2023-03-02 00:21:37
Toshiro Kimura 💉PPMMP
@TK2215
@nojiri_h あれは、解析的に解けないだけで、初期条件を与えれば解としてのその後の運動の予想はできますからねぇ。DeepNNなんて、とっかかりになりそうな数式すら不明なんじゃ・・・
2023-03-02 00:29:58
ひろし
@kRpN4zdzZWufwd6
@nojiri_h そうなのかなあ。原理不明のまま手探りで進むのは効率が悪そうですが、１００億ドルかけて人海戦術で総当たりすれば可能なのかもしれません。私も情報工学の専門家ではないので、なんとも言いづらいですが、今のLLMが、学位を持った専門家の集団に理解できないほど複雑なものだとは思えないんですよね
2023-03-02 01:15:11
Akira Ibusuki
@ibuski
@nojiri_h 本人に訊いても大したことは答えないですね pic.twitter.com/BG4QWCDVhg
2023-03-02 08:33:01
拡大
Tsubame@特異点はそんなには近くない
@Tsubame33785667
@nojiri_h ある意味では理解していると言えますし、違う意味では理解していないとも言えます。どちらも正しい。他のリプライでも書きましたが、モデルの原理自体は理解しているけれども、学習の結果、その中のパラメータがどういう状態になっているかは把握できないということでしょう。
2023-03-03 11:50:15
シャグシャグさん
@shagshagsan
一番不思議だったのは、 ①はいどうも～！ ②まくら（温泉旅行への導入） ③もうええわ！ありがとうございました！ のどれも、出力結果に含まれていないことだった。 「漫才」でもっとも形式的といえる要素なのになぜだろう？ twitter.com/nojiri_h/statu…
2023-03-03 12:38:29
Haruhiko Okumura
@h_okumura
LLMは与えられた単語列の後に来る単語の確率分布を過去の統計から求め・・・という説明は良くないな。そもそもまったく同じ長い単語列は過去にないはずで、それでも次の単語を想像してそれが正解に近づく方向にパラメタを微調整するという訓練を延々と行ったらこういうのができたというほうが良さそう
2023-03-03 18:36:12
Haruhiko Okumura
@h_okumura
Wolframの解説 writings.stephenwolfram.com/2023/02/what-i… も、赤線部分を読み飛ばせば、ネットにある大量の文章から統計的に次の単語の確率分布を求めているだけだと誤読してしまう。それだと窓が4096トークンもあるとzero-frequency problemに陥る pic.twitter.com/S9uxMYYxkc
2023-03-03 20:25:42
拡大
bioshok(INFJ)
@bioshok3
これ僕も気になっている。観測範囲で今のLLMの限界を本当の意味？で指摘した論文や考察を見たことがあまりない。 twitter.com/nojiri_h/statu…
2023-03-03 22:38:08
田口善弘
@Yh_Taguchi
@nojiri_h 今の時点でそこまで言ってしまうのは勇気がいるので「プロ科学者」はなかなかそこまで断言できないと思いますが、そもそも多体系の量子力学だって人類は全く理解できていないのでLLMを理解できなくても別におかしくないのでは？量子力学もLLMも人類が創作した「数学モデル」という意味では同じ物だし。
2023-03-03 23:18:18