「画像からゲームのように視点操作可能な3Dシーンを生成するAI」をWorld Labsが発表、実際に3Dシーンを探索できるデモページも公開中

「AIのゴッドマザー」とも呼ばれるフェイフェイ・リ氏が設立したAI開発企業のWorld Labsが、「1枚の画像からゲームのように視点を操作して探索できる3Dシーンを生成するAI」を開発しました。AIが生成した3Dシーンを探索できるデモページも公開されていたので、実際にAI生成の3Dシーンがどのようなものになっているのか確かめてみました。

Generating Worlds
https://www.worldlabs.ai/blog

World Labs' AI can generate interactive 3D scenes from a single photo | TechCrunch
https://techcrunch.com/2024/12/02/world-labs-ai-can-generate-interactive-3d-scenes-from-a-single-photo/

World Labsは新たに開発したAIについて、「私たちは1枚の画像から3Dの世界を生成するAIシステムの構築に取り組んでいます」「入力画像が与えられると、当社のシステムは3Dジオメトリを推定し、シーンの見えない部分を埋め、向きを変えることができるように新しいコンテンツを作成し、さまざまなシーンタイプとアートスタイルに一般化します」と述べています。

すでに画像から3Dモデルや360度画像を生成するAIはいくつか登場していますが、World LabsのAIは3Dシーンの視点をゲームのように動かすことができるという点が特徴です。出力された3Dシーンは完全なカメラコントロールを使用し、ブラウザでリアルタイムにレンダリング可能だとのこと。

実際にWorld Labsは、自社のAIが生成した3Dシーンを操作できるデモページを公開しています。デモページにアクセスして下の方にスクロールすると、以下のデモ画面が表示されます。

デモ画面をクリック＆ドラッグすると、ドラッグした方向にカメラが動きます。

カメラを上下に向けることも可能。

視点の位置はキーボードで操作可能で、前方に進むには「W」、左方には「A」、右方には「D」、後方には「S」で移動可能。しかし、移動できる距離はそれほど遠くなく、少し進むと「Out of bounds(境界外)」と表示されて移動できなくなりました。

一部にはレンダリングが甘い箇所もありますが、全体的に統一感があってかなりのクオリティです。

デモ画面の下にある画像をクリックすると、その画像の3Dシーンを動かすことができます。

空中からの視点もありました。

さらに画面を下にスクロールすると、特定の物体のみに被写界深度を合わせられるデモ画面が現れました。

上のスライダーで被写界深度を調整して「W」「A」「D」「S」でカメラを移動させると、被写体をはっきり捉えたまま視点が移動しました。

もっと下には、特定の被写体の大きさが変わらないまま背景がズームまたは引きになるドリーズームという手法を再現できるデモ画面も。

以下のスライダーを動かすと、被写体の大きさを変えないまま背景が変化する様子がわかります。

デモページでは他にも、「特定の物体をクリックしてスポットライトを当てる」「物体の表面に波紋を立たせる」といったアニメーション効果を3Dシーン上で再現したり、有名な絵画の世界を3Dシーン化して探索したりすることができます。

テクノロジー系メディアのTechCrunchは、これまでに登場した画像から3Dシーンを生成するAIでは、シーンの解像度が低くレイアウトがすぐに変わってしまう点が難点だったと指摘。「それとは対照的に、World Labsのアプローチではシーンが生成後も変わらず、物理的な基本法則にも沿っているため立体感と奥行きがあります」と述べました。

World Labsは、「3Dワールド生成は他のAIツールと自然に組み合わせることができます。これにより、クリエイターはすでに使い慣れたツールを使って、新しいエクスペリエンスを実現できます」と述べ、すでに数人のクリエイターにAIを早期公開していることを明かしました。

World Labsのウェイトリストには、以下のGoogleドキュメントから登録できます。

World Labs waitlist
https://docs.google.com/forms/d/e/1FAIpQLSf9jHsaDq1IwM_FADQP0Gbd82tbW4CBOI5YfUAdPfqrFrWEeA/viewform