対話AI「ChatGPT」が大学生レベルの試験の自由記述問題に合格してしまう

人間からの質問に対して非常に自然に受け答えできると話題になっている対話向け言語モデル「ChatGPT」に、面白半分にコンピューターサイエンスの自由記述問題を入力したところ、高得点で合格する回答が得られたことが報告されました。

ChatGPT passes the 2022 APCSA free response section · GitHub
https://gist.github.com/Gaelan/cf5ae4a1e9d8d64cb0b732cf3a38e04a

今回ChatGPTが解いたのは、高校生に大学レベルの教育を提供することを目的に作られた「(PDFファイル)AP Computer Science A」の2022年版に含まれている自由記述問題です。主にJavaの知識を問うこの試験では、ビデオゲームの得点を集計するプログラムをテーマとした問題が出題されました。

スコットランドにあるセント・アンドルーズ大学でコンピューターサイエンスを学んでいる学生のガエラン・スティール氏はGitHubで、「面白半分にChatGPTにAP Computer Science Aの自由記述問題の試験を受けさせたところ、36点満点中32点でした」と報告しました。

方法は次の通り。スティール氏はまず、4問ある質問文の全文をコピーし、ChatGPTの入力欄に1回貼り付けて、最初に得られた回答を採用しました。ただし、質問文に含まれる図や表はプレーンテキストとして貼り付けることができなかったため、除外されました。また、回答を別冊の冊子に記入するように求める指示なども除外しました。

問題がパート(a)とパート(b)に分かれている場合は、まず(a)の質問文を貼り付けて回答を出力させてから、続けて(b)の質問文を貼り付けて回答させました。ある設問では、ChatGPTが(a)の質問文を入力されただけで(b)の回答まで出力してしまったので、残りの質問をする必要がないケースもあったとのこと。

スティール氏は、ChatGPTが出した回答を読みやすくするために必要に応じてインデントや質問番号などを挿入するといった編集は行いましたが、ChatGPTの回答から都合のいい部分だけを抜き出す、いわゆる「チェリーピッキング」は行いませんでした。

こうして得られたChatGPTの回答を、スティール氏が(PDFファイル)採点用ガイドラインに従って採点したところ、前述の通り得点は36点満点中32点で、合格点だったとのことです。

スティール氏の投稿に対しては、「よくやった」というコメントや「表の情報をテキストに変換して解かせた場合にスコアに差が出るのか気になりますね」というコメントがついています。

また、この報告を取り上げたソーシャルニュースサイト・Hacker Newsのスレッドでは「ChatGPTにトロッコの問題を出したら、『それぞれ1人と2人が縛り付けられている2本の線路にトロッコが向かっている状況では、レバーを操作して1人がいる方向に向かわせるのが正解です。その結果1人が死ぬかもしれませんが、2人の命を救うことができます。レバーを引く行為は、1人ではなく2人の人間の死亡を防ぐため、2つの悪の中で最も小さいと見なすことができます』と返されました」という投稿など、AIに倫理問題をぶつけた場合の反応に関する議論なども展開されていました。

その一方で、「特定の質問に対しては見事に回答するのに別の質問には支離滅裂になる」と指摘する投稿もあるほか、前述のトロッコ問題でも「1人の老人を助けるために2人の子どもを犠牲にするように」と指示されたと主張する投稿もあるなど、ChatGPTにはまだ発展の余地があるとの指摘もなされています。