チャットAIが出力した文書を画像生成AIで画像化するプロセスを伝言ゲームのように何度も繰り返すと画像がどんな風に変化していくかがわかる「Image Telephone」

「チャットAIに画像を入力してキャプションを付けさせ、これを画像生成AIのDALL-Eで画像化し、再びチャットAIに入力して……」というプロセスを何度も繰り返し、AIが生成する画像がどのように変化していくのかを観察できるのが「Image Telephone」です。作者のelijahbenizzyさんは「自分でやってみたところ結果が非常に興味深いものだったためアプリ化して誰でも気軽に体験できるようにしてみました」と説明しています。

Image Telephone · Streamlit
https://image-telephone.streamlit.app/

Image Telephoneは「GPT-4(ChatGPTのベースとなる大規模言語モデル)とDALL-E 3で伝言ゲームをすると何が起きるのか？」を確かめるためのアプリケーションです。まず、GPT-4に入力画像のキャプションを作成させ、次にキャプションをDALL-E 3に入力して画像を生成させます。この作業を何度も繰り返し行い、画像がどのように変化していくかを確認できるようになっているのが、Image Telephoneです。Image Telephoneはすべての行程をリアルタイムで実行するわけではなく、事前に実行した内容をホストしているだけだそうで、この理由は「実行には時間と費用がかかるため」であると記述されています。

Image Telephoneの画面上では、最初にカフェラテが表示されています。

画面をスクロールすると、AI同士の伝言ゲームの結果、出力される画像がどのように変化していくかが表示されます。画像の下に書かれている数字が伝言ゲームのループが何度施行されたかを示しており、左上の「0」が伝言ゲームの最初に利用されたオリジナル画像です。

最初の数回はカフェラテの液面を描いた画像が出力されていたのですが、伝言ゲームの回数が増えるにつれ液面は描かれなくなり、周囲のポットやカップばかりが増えていきます。

ポットの数ばかり増えてもはやカフェラテ要素は皆無に。

最終的にはなぜか美術館のような場所に展示されるツボになってしまいました。

最初に入力される画像は、画面上部のプルダウンメニューから変更可能です。

カフェラテ(latte)の他に、クリスマスハウス(christmas_house)や滝(waterfall)、Windows XP(windows_xp)、ゴールデンゲートブリッジ(golden_gate_bridge)などのさまざまなサンプルが用意されています。

また、プルダウンメニューの下にあるスライダーを左右に動かすと、「〇回目の伝言ゲームの結果出力された画像」を表示することができます。

さらに、画像の下にある「Caption」をクリック。

すると、上記の画像をGPT-4に入力した際に出力されるキャプションをチェック可能です。

なお、Image Telephoneはクリーンで自己文書化された拡張可能なデータパイプラインを構築するための宣言型UIフレームワークのHamiltonを使って構築されており、Hamilton Dataflow Hubからデータフローを取得して独自のイメージを生成しています。