ChatGPT4とClaude3(Opus)を使った実験とか感想とか

植田麦ゼミ @baku_semi

Claude3は、ファイルは読み込めるけど、出力はできないのか。つかいづらーい

植田麦ゼミ @baku_semi

あらためてutf-8のファイルを与えて、csvファイルを作成するように頼んだら「ファイル作るのは無理」と言われた。うーん。Claude3はどうも、使えない。(B)

植田麦ゼミ @baku_semi

理由は、ファイルがshift-jisであったことによる。Claude3はutf-8じゃないと扱えないらしい。ファイルのエンコードを確認してくれ。というか、最初にsjisのファイルだって言ったじゃないか。

植田麦ゼミ @baku_semi

Claude3に古事記の名前についてのcsvファイルを与え、読み方をつけるように頼む →3時間経っても終わらないので進捗を聞いたら30％と答えられる →さらに3時間に尋ねると「実は10%」と答えられる →さらに3時間後に尋ねると「実は着手できてない。0%」と答えられる

植田麦ゼミ @baku_semi

一方、ChatGPTは言われたとおりの作業をしてくれた。要は正規表現で検索して抽出するようなものなのだけど、正規表現を組まなくてもスクリプトだけでやってくれるので、これは使えそう。 6/6

植田麦ゼミ @baku_semi

Claude3は「賢い」という評価だが、その賢しらがかえって作業を妨げてしまいそうである。このままだと使えないので、近いうちにサブスク契約は解除しようかと思う。 5/n

植田麦ゼミ @baku_semi

「すでに知っているものは除外して、テキストにあるもののみを対象として抽出する」としても、どうしても除外できない。 4/n

植田麦ゼミ @baku_semi

つまり、このテキストが古事記であると示さなくても自分で神話テキストであることを理解し、その理解に基づいてすでにもっている知識から「日本神話の神の名」を出してくる。 3/n

植田麦ゼミ @baku_semi

Claude3は、テキストにある固有名詞（神名）の一部は抽出するが、古事記もしくは日本書紀に現れる「神の名前」を勝手に列挙する。 2/n

植田麦ゼミ @baku_semi

【実験】 Calude3とChatGPT4に対して、古事記上巻の冒頭部のテキスト（訓読文）を与え、「固有名詞を抽出してください。固有名詞は「○○神」「○○命」という語構成をとります」とスクリプトを書いてみた。(B) 1/n

植田麦ゼミ @baku_semi

ChatGPT4とClaude3、どっちが賢いかではなく、どっちが何に向いてるかで使い分けるのが良さそう。たとえば、Pythonのコードは、個人的にはChatGPTの方が良いのを出力するように思う。

植田麦ゼミ @baku_semi

東大総長の入学式式辞をChatGPT4とClaude3に要約させてみた pic.twitter.com/eRxvJRgwrk

拡大

拡大

植田麦ゼミ @baku_semi

ChatGPT4は拙速、Claude3は巧遅、という印象。処理の軽いタスクだとClaude3の方がよい場合もありそう。

植田麦ゼミ @baku_semi

古典テキストがダメなのかも、というわけで漱石の作品で固有名詞を抽出させてみたが、ChatGPTは熟語と固有名詞の区別がつかないらしい。Claude3は古事記の分析に1時間くらいかかるらしく、応答せず。

植田麦ゼミ @baku_semi

ChatGPTは、出力はしたものの満足いくものではない。Claude3は出力の気配がない。

植田麦ゼミ @baku_semi

続いて、手持ちの『古事記」のデータ（訓読文）のデータとChatGPT4とClaude3に与えて、固有名詞を抽出してcsvファイルで出力させる実験。 ChatGPTは5分もかからず出力したが、ファイルはブランク。なので、再度解析をかける。Claude3はまだ出力しない。

植田麦ゼミ @baku_semi

サンプリングの結果、 ChatGPT：自炊してOCRかけたファイルでも読み込んで、それなりの要旨をつくる。が、なんか言ってそうで言ってないこともある。 Claude3：自炊OCRは拒絶。ウェブにあるデータは読み込める。要旨は割と的確。 といったところか。

植田麦ゼミ @baku_semi

論文「和歌集における計量分析と機械学習による判別」をChatGPT4とClaude3に与えて作成した要旨を見比べると、ChatGPTは「何か言ってそうだけど皮相的」な表現でごまかしてる感じもする。 pic.twitter.com/VVdoMLQJEh

拡大

拡大

植田麦ゼミ @baku_semi

なんでかわからんが、自分でスキャンしてOCRかけた論文は、Claude3はまったくダメ。一方、ウェブで公開されてる、最初からテキストが埋め込まれてるファイルはいける。

植田麦ゼミ @baku_semi

ChatGPTとClaude3の有料プラン利用開始。論文pdfの要旨を作成させたところ、Claude3はまったくダメ。ChatGPT4はまあまあ。