テキストや画像から3Dモデルを生成するオープンソースのAI「Shap-E」をOpenAIが発表

大規模言語モデルのGPT-4やチャットボットAIのChatGPTを開発するOpenAiが、テキストや画像を入力することで3Dモデルを自動生成するAI「Shap-E」を発表しました。Shap-Eはオープンソースで開発されており、無料で使用できます。

GitHub - openai/shap-e: Generate 3D objects conditioned on text or images
https://github.com/openai/shap-e

機械学習エンジニアのhysts氏がShap-Eを体験できるデモサイトをAI向けリポジトリサイトのHugging Faceに作成しており、Shap-EがどんなAIなのかをブラウザから簡単に体験できます。

Shap-E - a Hugging Face Space by hysts
https://huggingface.co/spaces/hysts/Shap-E


デモサイトにアクセスするとこんな感じ。

テキストの入力欄にプロンプトを入力し、「Run」をクリック。今回は「a teacup like a cat」と入力してみました。

数十秒ほど処理が行われます。

処理が終わったら、生成された3Dモデルが下部に表示されます。3Dモデルはドラッグすることでさまざまな方向から見ることが可能。右上の「↓」アイコンをクリックすると、生成した3DモデルをglTF(GL Transmission Format)形式でダウンロードできます。

3Dモデルが表示されているスペースの下にある「Advance options」をクリックすることで、Seed(シード値)・Guidance scale(ガイダンススケール)・Number of inference steps(ステップ数)を変更することができます。ガイダンススケールを20、ステップ数を100に設定し、「an astronaut riding a horse(馬に乗っている宇宙飛行士)」を生成してみたところが以下。ガイダンススケールとステップ数の設定のせいか、馬と宇宙飛行士が合体して謎の生命体になってしまっていました。

GitHubには、プロンプトと生成例がまとめられています。

また、Shap-Eは画像から3Dモデルを生成できる「Image to 3D」モードも搭載されています。「Image to 3D」のタブをクリックし、3D化したい画像を読み込み、「Run」をクリックすればOK。GitHubの生成例にある「A chair that looks like an avocado(アボカドのような見た目の椅子)」の生成例の静止画を読み込ませてみたところ、元の3Dモデルに近いものが生成されました。

OpenAIはこれまでにも3Dモデルを生成するAI「Point-E」を開発していました。このPoint-Eは、色のついた点を集めて3Dモデルを生成するというのが特徴でした。

3Dモデル生成AI「Point-E」をOpenAIがオープンソース化して誰でもダウンロード可能に、これまでの600倍高速にプロンプトから3Dオブジェクトを生成して表示可能 - GIGAZINE

Shap-EはPoint-Eと異なり、さまざまな角度から撮影した写真から3Dモデルを生成するNeRF(Neural Radiance Fields)とテクスチャで3Dモデルを生成する仕組みとなっており、従来よりも柔軟な表現が可能になるとのこと。ただし、3Dモデルに複数の属性を割り当てたり、適切なポリゴン数を設定したりすることが難しいという制限はあり、Point-Eに比べるとより高い演算性能が求められる可能性があるそうです。OpenAIは「学習用のデータが少ないことが原因である」と述べており、より大きなデータセットを使って学習すれば性能も向上するとしています。