文章を入力するだけで実在の人物やアニメキャラクターの頭部3Dモデルを生成できるAI「HeadSculpt」

テキスト入力するだけで頭部の3Dモデルを生成できるAI「HeadSculpt」が開発されました。HeadSculpでは既存のAIと比べて違和感の少ないモデル生成が可能で、アニメやゲームのキャラクターにも対応している他、編集機能も搭載しています。

HeadSculpt
https://brandonhan.uk/HeadSculpt/

[2306.03038] HeadSculpt: Crafting 3D Head Avatars with Text
https://arxiv.org/abs/2306.03038

HeadSculptでは「○○の頭部」「一眼レフで撮影した○○のポートレート」といったテキスト(プロンプト)を入力するだけで対象の3Dモデルを生成できます。例えば「一眼レフで撮影したリオネル・メッシのポートレート」というプロンプトを入力して生成した3Dモデルが以下。画像をクリックすると、3Dモデルが360度回転するアニメーションを確認できます。

「うずまきナルトの頭部」だとこんな感じ。額当てが後頭部を覆うタイプのヘッドバンドになっています。

「一眼レフで撮影したゴッド・オブ・ウォーに登場するクレイトスのポートレート」といったように、ゲームのキャラクターも生成可能です。

「一眼レフで撮影したサルバドール・ダリのポートレート」。ピンッと伸びたヒゲが印象的。

HeadSculptは「後頭部の写真」をあらかじめ学習させることで360度回転しても違和感のない3Dモデルの生成を可能にしています。また、生成した3Dモデルに編集を加えることも可能です。3Dモデルを編集した例は以下の通り。

まず、「猿の惑星: 創世記に登場するシーザーの頭部」というプロンプトで生成した3Dモデルが以下。

生成した3Dモデルを「木彫りにして」というプロンプトで編集すると、以下のように木彫り風になります。

「ゴーグルを着けた水泳選手にして」というプロンプトで編集すると、水中眼鏡っぽいゴーグルを着用しました。

なお、HeadSculptの開発に使用したコードはGitHubで近日公開予定です。

GitHub - BrandonHanx/HeadSculpt: [arXiv 2023 WIP] HeadSculpt: Crafting 3D Head Avatars with Text
https://github.com/BrandonHanx/HeadSculpt