親友同士のグループチャットを丸ごとAIで再現するとどうなるのか？

近年の対話型AIの進歩は著しく、既に対話型AIと疑似的な友人関係や恋愛関係を楽しめるサービスも登場しています。そんな中、アメリカのソフトウェア開発者であるIzzy Miller氏は、「親友同士のグループチャット」を丸ごとAIで再現するというプロジェクトに取り組み、その過程や結果について報告しました。

Replacing my best friends with an LLM trained on 500,000 group chat messages
https://www.izzy.co/blogs/robo-boys.html

Miller氏は大学時代の親友5人とiMessageのグループチャットを共有しており、過去7年間にわたり活発にメッセージのやり取りを続けているとのこと。2023年3月のある日、Miller氏はグループチャットを大規模言語モデルで再現するという遊びに取り組み始めました。

今回の言語モデルを作成するにあたり、Miller氏は5人の親友それぞれに対応するモデルを作成するのではなく、グループチャット全体の会話を模倣する1つのモデルを作る方針にしました。この理由についてMiller氏は、グループチャットの文脈の本質をより簡単に、安価に捉えることができると感じたためと説明しています。

グループチャットから抽出できるアクティブなメッセージは、全部で48万8000件に上ったそうです。これらのメッセージを言語モデルでトレーニングさせるため、Miller氏はそれぞれのメッセージが誰によって発言されたものなのかを分類し、メッセージを一連の会話のセクションごとに分割する必要がありました。

Miller氏はデータ分析サービスのHexでiMessageからメッセージを抽出・微調整するプロジェクトを作成し、メッセージを言語モデルのトレーニングに適した形式に変換しました。なお、Miller氏が作成したHexプロジェクトは公開されており、誰でも使用することができますが、Miller氏はセキュリティの観点からプラットフォーム上ではなくローカルにコピーして作業することを推奨しています。

そしてMiller氏は、スタンフォード大学がMetaの大規模言語モデル「LLaMA」の7Bモデルを微調整したモデル「Alpaca」を使用し、グループチャットを模倣する言語モデルを作成しました。トレーニングのためにNVIDIAのA100を4台レンタルし、モデルの展開にはインフラストラクチャーや構成を管理せずローカルのコードをクラウドにデプロイできるModalを使用したとのことです。

GPT-3.5に匹敵するチャットAIを構築可能なモデル「Alpaca 7B」をスタンフォード大学が公開、オープンソースで安価に再現可能 - GIGAZINE

実際にグループチャットを模倣したモデル「robo boys」が再現した会話が以下。アメリカの権利章典についてのどうでもいい会話を、友人同士らしい乱暴な口調で交わしています。

Miller氏は「robo boys」を友人らに見せようとしましたが、単に上のようなスクリーンショットを貼るだけでは物足りなかったとのこと。そこでMiller氏は、実際のiMessageのグループチャットを模倣したインターフェースを構築することにしました。

Twilioなどのサービスを利用し、実際にiMessageのグループチャットを作成する案もありましたが、これは非常に複雑で高価でした。そこでMiller氏はGitHubに存在する「iMessageのクローン」を微調整し、自分なりのiMessageのクローンを作成しました。なお、Miller氏が作成したクローンは将来の開発作業などについて何も考えず、わずか45分で作成したものであり、そのクオリティについては保証できないそうです。

実際にMiller氏が作成した「robo boys」のグループチャットが以下。

自分でメッセージを投稿することもできます。

「Who of our friends you think is actually an extraterrestrial in disguise?(実は地球外生命体だろうと思ってるやつはいる？)」という質問に対し、友人の1人は「I think Wyatt may have been an alien in a past life(ワイアットは前世で宇宙人だったかもしれない)」と返信。それに別の友人が「I think that's strong take. I've had that thought before.(マジであり得る。前にそう思ったことがあった)」と返し、さらに「He does look a bit like a grey(ちょっと見た目がグレイ宇宙人っぽいしな)」と続けるなど、友人同士のバカバカしい会話が再現されていました。

もともとMiller氏は、友人らの再現度を高めるために埋め込みデータベースを作ることも検討していましたが、学習させたグループチャットのメッセージに友人らの膨大な情報が含まれていたため、手を加える必要はなかったとのこと。以下のスクリーンショットは、「誰がヘンリーのビールを飲んだのか？」という友人同士にしかわからない過去のエピソードについて、「robo boys」が会話しているところです。

Miller氏は、「友人同士のグループチャットをAIで再現する」という無意味な上に複雑なプロジェクトが、AIを理解する上でうってつけの題材だと考えています。「これはAIへの素晴らしい入り口であり、誰もが破滅を意識するような大きな恐怖のテクノロジーを身近に感じることができる方法なのです」とMiller氏は述べました。