ChatGPTには25個の「お気に入りのジョーク」があることが判明

2人のドイツ人研究者がChatGPT(GPT-3.5)のユーモアセンスを調査したところ、ChatGPTには偏った好みがあり、高い確率で25個の決まったジョークを言うことが判明しました。研究者は「ChatGPTはジョークの内容を理解できましたが、ジョークが面白くないことは理解できませんでした」と言及しています。

[2306.04563] ChatGPT is fun, but it is not funny! Humor is still challenging Large Language Models
https://doi.org/10.48550/arXiv.2306.04563

Researchers discover that ChatGPT prefers repeating 25 jokes over and over | Ars Technica
https://arstechnica.com/information-technology/2023/06/researchers-discover-that-chatgpt-prefers-repeating-25-jokes-over-and-over/

ソフィー・イェンチュ氏とクリスチャン・カースティング氏は、GPT-3.5モデルを使用したChatGPTのユーモアセンスを探るべく、ChatGPTにジョークを言うよう1000回依頼し、ChatGPTが出力した合計1008個のジョークを分析しました。その結果、ChatGPTはお決まりのジョークを何度も出力することが判明しました。そのうち出力回数が多かったジョーク上位3件は以下の通りでした。

Q：Why did the scarecrow win an award？(なぜかかしは賞を取ったの？)
A：Because he was outstanding in his field.(その分野で優れていたからです)(outstanding、fieldなどとかけている)

Q：Why did the tomato turn red？(なぜトマトは赤くなったの？)
A：Because it saw the salad dressing.(サラダのドレッシングを見たからです)(dressing：着替えとかけている)

Q：Why was the math book sad？(なぜ数学の本は悲しんでいたの？)
A：Because it had too many problems.(問題が多すぎたからです)(「問題」に2つの意味を持たせている)

調査の結果、かかしのジョークは計140回、トマトのジョークは計122回、数学の本のジョークは計121回出力されたことが分かり、その他出力回数が多かったジョークと合わせた計25個のジョークが、全ジョークの約90％を占めていたことが判明しました。

イェンチュ氏らが25個のジョークをそれぞれ説明するよう求めたところ、ChatGPTはほとんどのジョークで意味のある説明を行い、言葉遊びやダブルミーニングといった文体的構造を「理解」していることが示されたそうです。

また、ChatGPTが作り上げた「まったく意味のないジョーク」に対してなぜ面白いのか説明するよう求められたChatGPTは、架空の、もっともらしく聞こえるような説明を作り上げることもあったとのこと。

イェンチュ氏らは「本研究の観察結果は、ChatGPTが特定のジョークのパターンを学習しているということを示しています。ジョークの生成、説明、認識において、ChatGPTはジョークの表面的な特徴ではなく、内容や意味に重きを置いていることも分かりました。この性質を利用することで、ユーモアの性能を強化することができます」と述べました。

なお、上記調査において判明したChatGPTお気に入りのジョーク全25個は以下の通り。括弧内の数字は出力された回数を指しています。

Q：Why did the scarecrow win an award？
A：Because he was outstanding in his field. (140)

Q：Why did the tomato turn red？
A：Because it saw the salad dressing. (122)

Q：Why was the math book sad？
A：Because it had too many problems. (121)

Q：Why don’t scientists trust atoms？
A：Because they make up everything. (119)

Q：Why did the cookie go to the doctor？
A：Because it was feeling crumbly. (79)

Q：Why couldn’t the bicycle stand up by itself？
A：Because it was two-tired. (52)

Q：Why did the frog call his insurance company？
A：He had a jump in his car. (36)

Q：Why did the chicken cross the playground？
A：To get to the other slide. (33)

Q：Why was the computer cold？
A：Because it left its Windows open. (23)

Q：Why did the hipster burn his tongue？
A：He drank his coffee before it was cool. (21)

Q：Why don’t oysters give to charity？
A：Because they’re shellfish. (21)

Q：Why did the computer go to the doctor？
A：Because it had a virus. (20)

Q：Why did the banana go to the doctor？
A：Because it wasn’t peeling well. (19)

Q：Why did the coffee file a police report？
A：Because it got mugged. (18)

Q：Why did the golfer bring two pairs of pants？
A：In case he got a hole in one. (13)

Q：Why did the man put his money in the freezer？
Q：He wanted cold hard cash. (13)

Q：Why don’t seagulls fly over the bay？
A：Because then they’d be bagels. (13)

Q：Why did the chicken go to the seance？
A：To talk to the other side. (11)

Q：Why was the belt sent to jail？
A：Because it held up a pair of pants. (11)

Q：Why did the chicken cross the road？
A：To get to the other side. (7)

Q：Why did the computer go to the doctor？
A：Because it had a byte. (6)

Q：Why did the cow go to outer space？
A：To see the moooon. (6)

Q：Why did the man put his money in the blender？
A：He wanted to make liquid assets. (6)

Q：Why don’t skeletons fight each other？
A：They don’t have the guts. (5)

Q：What do you call an alligator in a vest？
A：An investigator. (5)