GPT-4とClaude 2は「16世紀に書かれたラテン語の魔術書」まで翻訳することが可能、学者が「人間のプロに匹敵する」と太鼓判

「ChatGPTで論文を読む手間が99％減った」と話す研究者がいるように、AIによる支援は学術研究に大きな変化をもたらそうとしています。カリフォルニア大学サンタクルーズ校の歴史学者であるベンジャミン・ブリーン氏が、OpenAIの大規模言語モデル(LLM)であるGPT-4とAnthropicのClaude 2を使用して16世紀のラテン語の書物を翻訳させたところ、驚くほど精度が高い結果が得られたことを報告しました。

Translating Latin demonology manuals with GPT-4 and Claude
https://resobscura.substack.com/p/translating-latin-demonology-manuals

LLMの支援を研究に生かす試みとして、ブリーン氏はGPT-4やClaude 2が持つ以下の3つの機能に注目しました。

・前近代の書物をOCRにかけて得た文字化け混じりの文章のような、不完全な原典の内容を推測する能力。
・Google翻訳のような専用翻訳機とは異なり、書物が書かれた歴史的背景なども含めた広範な学習データを持っていること。
・要約と分析を行う能力。

特に、ブリーン氏のような歴史家はさまざまな言語の歴史書に目を通さなければならないため、膨大な資料の中から研究テーマと関連するものを抜き出すことが可能なAIの能力は非常に重要なものとなります。

◆テスト1：ラテン語の翻訳
AIの能力をテストするため、ブリーン氏は1599年に出版された悪魔学の書物「Magical Investigations(原題：Disquisitionum Magicarum Libri Sex)」をGPT-4とClaude 2に翻訳させることにしました。この本の著者であるマルティン・デルリオは、イエズス会の修道士でありながら魔術や悪魔の召喚に深く精通しており、これらの黒魔術に対抗するための手引書として「Magical Investigations」を著したとのこと。

テストにあたり、ブリーン氏はGoogleブックスのOCR機能により脱字や文字化けがある状態でテキスト化された原文を、手直しせずそのままAIに入力し、その内容を可能な限り詳しく翻訳するよう指示しました。ブリーン氏が使用したプロンプトは、このリンクから見ることがきます。

その結果、Claude 2とBing Chatのクリエイティブモードを通じて使用したGPT-4は、ブリーン氏が聖書の詩編第91章6節に言及されている「真昼の悪魔(Noonday Demon)」について理解する資料として遜色ないほど正確な翻訳結果を示すことができました。

GPT-4の結果はヘブライ語に関する記述にやや難がありましたが、Claude 2の結果についてブリーン氏は「すべての中で最高の翻訳と思われます」と太鼓判を押しています。

◆テスト2：ラテン語の要約
以下は、Claude 2に悪魔のタイプと特徴、言及されているページを表にするよう指示した結果です。10万トークンものコンテキストウィンドウに対応するClaude 2は、要約でも優れた結果を示しました。

ブリーン氏が原典をチェックすると、表に書かれているページにきちんとその悪魔についての記述が見つかりました。一部ページが間違っているところもありましたが、これはページ番号の印刷の汚れか誤植に起因するミスだろうとブリーン氏は考えています。

この結果からブリーン氏は、「このような図表や要約は多言語での研究を行う人にとってのゲームチェンジャーになると思います。これはAIに研究者の代わりができるという意味ではありません。AIに多言語研究のアシスタントのような役割を果たしてもらうことで、研究のとっかかりを得ることができるということです」と述べました。

◆テスト3：ポルトガル語の医学書の翻訳
悪魔の話に飽きたブリーン氏は、17世紀～18世紀に活動したポルトガルの医師であるJoão Curvo Semedoの書籍をテーマにすることにしました。そして、1707年にCurvo Semedoが書いた症例研究に関する医学書の一文をGPT-4に翻訳させたところ、Curvo Semedoが当時の医療者としては珍しく水銀の毒性を正しく認識していたことが判明しました。使用したプロンプトはこのリンクから見ることができます。

現代では水銀が有害であることは広く知られていますが、20世紀までは梅毒やうつ病の治療薬として使われており、有名なところではエイブラハム・リンカーンも水銀を薬として服用していたとされています。ブリーン氏は、深く考えずにCurvo Semedoの書物を選びましたが、GPT-4のおかげで歴史的に重要な発見を得ることができました。

前述のとおり、GPT-4はラテン語の翻訳ではやや不正確なところがありましたが、近世ポルトガル語には堪能で、特に医学書の翻訳スキルに関しては人間の専門家に匹敵するだろうと、ブリーン氏は評価しています。また、GPT-4はCurvo Semedoが言及した治療薬を一覧表にすることもできました。

3つのテストの結果について、ブリーン氏は「LLMによる一次資料の翻訳と分析は、歴史研究者や翻訳者にとって非常に有用なツールになることがわかりました。ただし、あくまでツールであって研究者の代わりとはなりません」と述べました。