GPT-4は本当に論文を参考にしているのか?試してみた(追加あり バージョン4でも検討しています)

2023.03.15でGPT-4の性能が上がったと聞いたので、文系の質問をぶつけてみました。
4

注記(2023.03.16) 指摘があったので別個新しく情報を追加します。きっかけはこちらはバージョン3.5のようでした申し訳ないです。

リアル農夫houmei@【JCU】マイクラ城郭再現【BE勢】 @nouhuhoumei

@nagikuruma さんがこういうこと言うから調べたくなったじゃないですかやだぁ ということで、実際に課金して同じ名前で検索しました twitter.com/nagikuruma/sta… pic.twitter.com/5fz2qtpwhi

2023-03-16 17:54:52
みるば @nagikuruma

他のGPT4まとめでも感じたんだけど、GPT3.5のまま評価している人いないですかね? Plusでもデフォルトのモデルは3.5でGPT4には自分で明示的にGPT4モデルを選択して新.. togetter.com/li/2101789#c11… 「GPT-4は本当に論文を参考にしているのか?試してみた」togetter.com/li/2101789 にコメントしました。

2023-03-16 10:51:13
拡大
リアル農夫houmei@【JCU】マイクラ城郭再現【BE勢】 @nouhuhoumei

結論から申し上げます。 1.確かにそれっぽい文章から引用してそうな雰囲気は確かにある。 2.やはりだが、日本語の資料ではなく海外のデータが中心 3.参考文献は出せないからと日本の本の書誌を引っ張ってきたがでたらめでした。 pic.twitter.com/RAc1yxPk9H

2023-03-16 17:54:52
拡大
拡大
拡大
リアル農夫houmei@【JCU】マイクラ城郭再現【BE勢】 @nouhuhoumei

1について 文章の中身は確かにもっともらしい書き方で知らない人が見たらそうなんだと思える内容です。 しかし、藩閥政治は明治時代の用語・儒教の影響はありますが孫子普及はそれではない。 寺子屋はたしかに普及していたが需要があったから増えたわけではない。 出版に関しては正しそうけど真偽不明

2023-03-16 17:54:53
リアル農夫houmei@【JCU】マイクラ城郭再現【BE勢】 @nouhuhoumei

2について 英語の文献に関しては存在はしているようです。

2023-03-16 17:54:53
リアル農夫houmei@【JCU】マイクラ城郭再現【BE勢】 @nouhuhoumei

3について タイトルで国立国会図書館の検索をかけたがヒットせず 網野善彦:中世の研究者ですよね 稲垣武:ジャーナリストか政治家 今村崇志:存在はしてるが一般の方? 竹内理三:古代中世史の大家 森本忠夫:文筆家 小林武広:税務行政系の方? お話になりませんな。

2023-03-16 17:54:54
リアル農夫houmei@【JCU】マイクラ城郭再現【BE勢】 @nouhuhoumei

結論 1.理系や外国関係であれば使える可能性はありそう 2.3や3.5と比べると書き方や文章力は確かにすごく上がってる 3.やっぱり知らないことを知らないといえないみたい。参考文献でっちあげるな。   これ、無料にしたら文系はとんでもないことになるのはすごく目に見える。早く修正かけないとヤバい

2023-03-16 17:54:54

きっかけはこの記事とツイートから
https://news.yahoo.co.jp/byline/satotetsuya/20230315-00341209

さとうしん @satoshin257

ということでChatGPT Plusで質問しなおし。30~40点ぐらいまで上がった😂 pic.twitter.com/dl57LKP6lQ

2023-03-15 18:17:23
拡大
拡大
さとうしん @satoshin257

@nouhuhoumei やり直してみましたが、ちょっとマシになりましたねw pic.twitter.com/Tlrck822TE

2023-03-15 18:21:09
拡大
拡大
さとうしん @satoshin257

@nouhuhoumei 取り敢えず論述試験やレポートの問題をそのままぶっ込んだだけだとまだまだダメっぽいですw

2023-03-15 18:22:28
リアル農夫houmei@【JCU】マイクラ城郭再現【BE勢】 @nouhuhoumei

孫子が日本の江戸時代で注釈書が作られた理由はなぜ? の回答   うーん。赤点じゃないかな…。参考文献少なすぎない?やっぱりネット上の情報しか拾ってないね。けどちゃんと参考文献上げて来るのはすごいね。 pic.twitter.com/Qkr2FEsTjJ

2023-03-15 20:12:40
拡大
リアル農夫houmei@【JCU】マイクラ城郭再現【BE勢】 @nouhuhoumei

ソースの参考文献上げろっていったら似てそうなの引っ張ってきてた。どうやって出したかと聞いたら分析して出したと。受け答えはすごくいいしツイッター上の奴らよりかは断然ましだけど、改良されたとはいえ怖い。 pic.twitter.com/zyb7xTXJ9D

2023-03-15 20:28:59
拡大
拡大
拡大
拡大

補足
『孫子』解答のない兵法-書物誕生 新しい古典入門-(平田昌司著 岩波書店)によると

第一期 寛文年間から宝暦以前
第二期 宝暦からの18C後半
第三期 十九世紀以降
に分けられ

第一期は清朝が攻めてくる可能性への不安からの要請
第二期は荻生徂徠『孫子国字解』が大量に出版されて流通し、日本語で通読できたため
第三期は外国勢力に対しての危機感から

という形で三期に分けられるそうだ。
(というように引用とはこういう風にするものなのだが)

リアル農夫houmei@【JCU】マイクラ城郭再現【BE勢】 @nouhuhoumei

@satoshin257 孫子が江戸時代注釈書ブームになった理由聞いたのですが、参考文献と回答がかみ合ってないというTwitterあるあるが出てきましたorz twitter.com/nouhuhoumei/st…

2023-03-15 20:31:47
さとうしん @satoshin257

@nouhuhoumei 噛み合ってないというか、架空の文献が混ざってません?中公新書のやつとか。

2023-03-15 20:40:37
リアル農夫houmei@【JCU】マイクラ城郭再現【BE勢】 @nouhuhoumei

@satoshin257 いわれてみて論文も本も探しましたけど出てこなさそうな雰囲気ですね…。これ本当に論文でっち上げてる可能性ありそうですね…。

2023-03-15 20:48:49
さとうしん @satoshin257

@nouhuhoumei 他の方の事例を見てると、明らかにデッチ上げてる例があったような……

2023-03-15 20:50:35
リアル農夫houmei@【JCU】マイクラ城郭再現【BE勢】 @nouhuhoumei

@satoshin257 これでっち上げの可能性高いですね。中公新書にそういう本はなかったし、立教大学の検索かけても出てこないし。そもそも書いた本の人物聞いたことがない…。

2023-03-15 20:52:57
さとうしん @satoshin257

@nouhuhoumei いけしゃあしゃあとそれらしいデタラメを吐きますねw

2023-03-15 21:06:13