GPT-4の日本語読解力の限界に挑戦するために普通の翻訳では全く不可能な『コンビニコピペ』を訳させたら70点ぐらいの理解してるのやばすぎる

もっくん @RumojiD

解説を何処かで取り込んだのか本当にわかったのか twitter.com/Callimiya/stat…

刈宮 宥 @Callimiya

GPT4の日本語読解力の限界に挑戦してみた 普通の翻訳では全く不可能なコンビニコピペを訳させる この文章を70点ぐらいの理解してるのやばすぎる pic.twitter.com/Fow6s47Ify

2023-03-30 21:25:30

金子晋輔 / dely 🐘 @kaneko_sh

どうやったらこれが学習できるんだろう…？GPT、アスキーアートの理解力も高いし、2ちゃんの過去のコンビニネタを大量に学習したのかな。 twitter.com/callimiya/stat…

どみにをん525 @Dominion525

すでにネット上に対訳みたいな記事はたくさんあるんだから、新規で作ったものでない限り特におどろけないなあ。 twitter.com/callimiya/stat…

びねつ @b_s_v

これ対訳と一緒に学習してんだろって説もあるけど例えば金額読み上げとかちょっと違う言葉で補完されてる部分があるから不思議なんだよなあ twitter.com/callimiya/stat…

ketaro @ketaro_h

これ、読読なのかな。それとも コンビニコピペの情報をGPT4がパターンマッチしてるだけなのか。 分からんけどGoogle機械学習の中の人が「すごい」と言ってるからすごいのかもしれない。 twitter.com/callimiya/stat…

からす@3DCG @Kqras_

この実験面白すぎる 100点なんて叩き出したら感動するしかないんだけど、70点ぐらいのいい塩梅が非常にAIって感じ twitter.com/callimiya/stat…

呟く壺 @whisperpot

この暗号解読100点は経験値ないと無理だよなぁ笑 しかし70点でも凄いし、このテストはベンチマークとしても優れてるかも。 twitter.com/callimiya/stat…