バーチャル世界に現実の物体を持ち込むために「緑の全身タイツを着て撮影」する力技のアイデアが歴史的転換点になりうると話題に

モーションキャプチャーを用いて3Dのアバターを動かしながらさまざまな配信を行うバーチャルYouTuber(VTuber)の活動は、電脳世界を舞台とすることで無限の可能性を秘める一方、現実の物体を持ち込んで活用するのは難しいものがありました。そんな中、「緑の全身タイツを着て現実のものを持ち運びした状態でモーションキャプチャーと透過を行えば、現実のものをバーチャルの体で持ち運びできるのでは」という力技で解決するアイデアを実験するムービーを、なつのっとさんが公開して話題となっています。

実際にバーチャルの体で現実の物体を持ち上げたりこねくり回したりする様子は以下のムービーで見ることができます。

これまでにも「現実の物体をバーチャル空間に持ち込む方法」は検討されていました。その一例として、双子のVTuber・おめがシスターズは3Dスキャンを使った方法を以下のムービーで実践しています。

ガンプラを3Dスキャンしてガンプラファイトやってみた - YouTube

ムービーではまずガンダムのプラモデル(ガンプラ)の作成が行われますが、プラモデルの内容は静止画で紹介されています。まるでバーチャル世界にガンプラそのものが出現したように巧みに編集されていますが、あくまでも写真を取り込んだだけに過ぎず、バーチャル世界で直接ガンプラを組み立てることはできません。

そして、完成したガンプラは3Dスキャンを行って取り込んでいます。現実の物体をバーチャル世界に持ち込む画期的な企画ですが、アプリでの簡易なスキャンには限界があり、「なんか思ってたのと違う」ものだったとのこと。

このように、現実の物体をバーチャル世界に持ち込むには「静止画で紹介」「再現度の荒いスキャンで3D化」もしくは「現実のものそっくりに3Dモデリング」のどれかが用いられていた中、なつのっとさんがTwitterで発表したのが以下のムービーです。

Amazonの段ボールを3Dのアバターが持ち上げています。背景は一見すると現実の屋外、動いているのは3Dのアバター、段ボールがあるのは室内と、なにをどれだけ合成しているのかぱっと見ではその仕組みを理解するのはかなり困難。

段ボールを放り投げて遊ぶ様子。静止画では立体感を出すのが難しい上にそれを扱って遊ぶことはできず、3Dスキャンやモデリングでもフタが開いたり閉じたりする細かな動きを反映するのは難度が高いものでしたが、ムービーではバーチャルな存在と現実のアイテムとがなめらかに融合しています。

「現実の物をアバターに持たせるテスト2」として投稿されたムービーでは、こちらも3Dの再現が難しいタオルのヒラヒラ感を見事に取り込んでいます。

また、スキャンやモデリングでは物体を大きく変形させることはかなり難しいですが、この方法ならタオルを畳むことだって簡単。

これらのムービーは、特定の色を透明にしてそこに別の映像を合成する「クロマキー合成」の発想を軸にしています。現実の物体をバーチャル世界へ取り込むためには、緑色の背景(グリーンバック)の上に対象となるアイテムを載せて撮影し緑色を透過する必要があります。さらにそのアイテムを自由に動かすために、「緑色の全身タイツを着て撮影し、自分の姿も透過する」という手段を採っているというわけ。

他の分野では既に活用されている力技のようですが、シンプルすぎて誰も思いつかなかったまさに「コロンブスの卵」的発想だと話題になりました。キュートな動きで人気の猫耳VTuber・のらきゃっとを運用するノラネコPさんは、「VTuberが現実の物品のレビューや紹介ができるようになるブレイクスルーだ」と絶賛しています。

このアイデアでは緑色の背景と全身タイツを透過しているだけなので、手の動きを感知する黒いトラッカーが映ってしまうのがひとつの難点でしたが……

トラッカーを緑色に塗装するというこれまた力技で解決。

有志の方による緑トラッカーの作成まで行われていました。

VTuberのように3Dのアバターでムービー撮影をする流行はまだ歴史が浅く、新しいアイデアやプラットフォームがどんどん登場してさまざまな形で展開しています。今回の全身タイツのアイデアも、今後より洗練された末にVTuberのスタンダードとして浸透することが期待できます。