AIに大学院の講義で出している課題をやらせてみたら今後先生が頭を抱えそうな結果が出た
- jinmenkutsu
- 195009
- 248
- 251
- 289
ChatGPTに大学院の講義で出している課題をやらせてみた。わたしの授業を聞いていないことは明らかで事実誤認も少なからずあるが、講義を聴いていない学生が提出した課題として読むと、まあもっともらしいことを書くとこんな感じになるわなーという水準に達していて、AIに書かせたと見抜くのは無理だな
2022-12-04 11:42:50Q. コレ私が大学院の講義で出した課題で、学生がAIに回答させると困るんだけど、教員として学生が書いたのか、AIが書いたのか、どうやって見分けたらいいかな。ちゃんとした答えが返ってくる者だから、コレじゃ不可を付けることはできないと困っちゃった。
2022-12-04 11:46:29A. 申し訳ありませんが、私は人工知能であるため、人間が書いたものと判断することはできません。 また、私は大量のデータから学習して生成された文章を出力することができますが、それが人間が書いたものかどうかの判断はできません。
2022-12-04 11:46:53学生が作成した文章を判断する場合には、文章の内容や構成、表現などを検証し、それらが学生が作成したものであるかどうかを判断することが必要です。また、疑わしい文章が見つかった場合は、学生と直接話をするなどして、その文章が学生が作成したものであるかどうかを確認することができます。
2022-12-04 11:47:08また、今後は、人工知能を使用した文章生成技術が進歩する可能性がありますが、そうした文章が人間が書いたものであるかどうかを判断するための方法も研究されているようです。
2022-12-04 11:47:28とりあえずのAI対策としては今のところChatGPTはWebブラウズできないので、学習が追いつかない時事問題を入れる、これまで間違っていても分量があれば可をつけていたところ、事実誤認など講義を聞いてないと思しき答案に対しては不可をつけるのが対策になるのかな?
2022-12-04 12:22:24ついに来てしまったか
AIが大学のレポートを答えちゃうかもしれない時代 twitter.com/masanork/statu…
2022-12-04 22:55:42講義資料をデータで配っている場合、それをpromptに流し込んで出力を補強するというハックが使える気がしたので、宿題をちゃんとやったか確かめること自体が無意味にはなりそうですね。 twitter.com/masanork/statu…
2022-12-04 18:06:02仮の答えをChatGPTにいくつか回答させて、それをサマった上で、講義レジュメとちょっとググった内容を補完したら、簡単に答え出そうだな。マイニング組めるならそこも自動化できそう。
2022-12-04 12:26:22どう対策すべきか
いやほんとそうなるよな。都度生成されるからいわゆる従来的なコピペにもならないし、ですますをだであるに変えるくらいのちょいアレンジでもうお手上げなはず。パフォーマンス評価において、「書かれたものを見る」だけではもうだめになってしまったな。
2022-12-04 16:05:39@masanork しばらくはAIに劣る解答を不可とすることで対応出来るかもしれませんが、将来的にはAI並みに優れた解答を不可とすることになるかもしれませんね。
2022-12-04 14:39:33機械学習使ってAIが出力した文書との類似度をとる、くらいしか方法はなさそうな気がする……けど「答え」もそれに近そうだしな……ううむ。
2022-12-04 15:52:39AI絵の「手が上手くかけてないからAI」と同じで 講義のレポートも「それっぽい文章には仕上がっているが部分的に誤っているからAI」判定したら"よくわかってない人間でした"はあり得る 泣いちゃう
2022-12-04 17:13:16