PCとウェブカメラだけで簡単にVTuberになれるツール「VMagicMirror」レビュー、ゲームコントローラーでアバターを操作することも可能

3Dアバターとウェブカメラがあれば誰でもバーチャルYouTuber(VTuber)になれるツール「VMagicMirror」を、獏星(ばくすたー)さんが公開しています。基本無料で使うことができ、リップシンク機能やハンドトラッキング機能を搭載しているほか、ゲームコントローラーでアバターを操作することも可能となっています。

VMagicMirror
https://malaybaku.github.io/VMagicMirror/

VMagicMirrorには無料版のStandard Editionと税込2500円のFull Editionがあります。上記サイトにアクセスして、今回は無料版である「DOWNLOAD FREE STANDARD EDITION ON BOOTH」をクリック。

BOOTHの配布ページに移行するので、「無料ダウンロード VMM_v3.1.1_Standard_Installer.zip (126 MB)」をクリックし、インストーラーをZIP形式でダウンロードします。なお、ダウンロードには無料のPixivアカウントが必要です。

ダウンロードしたZIPファイルをExplzhやWindowsの標準機能などで解凍し、フォルダ内にある「VMM_v3.1.1_Standard_Installer.exe」を起動します。

「すべてのユーザー用にインストール(A) (推奨)」をクリック。

「OK」をクリック。

インストール先を指定するため、「次へ」をクリックします。なお、インストールするには最低391.9MBのディスク空き容量を必要とするとのこと。

「次へ」をクリック。

「インストール」をクリックするとインストールが始まります。

インストールが終了すると、VMagicMirrorが自動で起動します。

VMagicMirrorで動かせるアバターはVRMファイルです。今回はVRoidのサンプルアバターを読み込むため、「PC上のファイルをロード」をクリックし、サンプルアバターのVRMファイルを読み込みます。

すると、緑色のアバター表示ウィンドウにアバターのライセンスが表示されるので、設定ウィンドウの「OK」をクリック。

VRMファイルを読み込むと、緑色のアバター表示ウィンドウにアバターが表示されます。

各種設定を行うには「配信」タブをクリック。

「ウィンドウ」の「背景を透過」のチェックを入れると、アバター表示ウィンドウのウィンドウ枠と緑色の背景が消えて、以下のように透過されます。

顔や頭の動きは、PCに接続したウェブカメラでトラッキングができます。リップシンク機能もついており、接続したマイクに話しかけると口元も動きます。

実際にリップシンクの動きや顔トラッキングがどんな感じなのかは以下のムービーを見るとよくわかります。

誰でも簡単にVTtuberになれる「VMagicMirror」は口の動きがアバターに反映される - YouTube

モーションは基本的に首より上ですが、「動き方」を「ゲーム入力」に変更すると、ゲームコントローラーでアバターを動かすことができます。

ゲームコントローラーの設定を行うには「ゲーム入力の詳細設定」をクリック。

ゲームコントローラーの各ボタンに、「ジャンプ」「しゃがみ」「銃を撃つ」「パンチ」などのアクションを設定できます。ゲーム入力を動き方に設定してアクションゲームをプレイすると、ゲーム内のキャラクターと同じようにアバターもジャンプしたりパンチしたりが可能になるというわけです。

実際にコントローラーでアバターを動かす様子が以下のムービー。

Vtuberのようなアバターをゲームコントローラーで自由自在に操作することが可能な「VMagicMirror」で実際に動かしまくってみた - YouTube

「表示」では、アバターの周囲に配置されているキーボード・パッドやゲームパッドなどの表示を切り替えることができます。

ウィンドウ内のアバターの大きさ・角度・位置を調整するには、「フリーカメラモード」にチェックを入れればOK。操作方法は右クリック＋マウス移動でカメラの角度変更、ホイールクリック＋マウス移動でカメラ移動、ホイールスクロールでズームイン・ズームアウトです。

アバターの周囲にあるキーボード・パッドやゲームパッドの大きさは、「フリーレイアウトモード」にチェックを入れることで編集できます。

「Ex.Tracker」は、表情トラッキングにスマートフォンを使うことができるというもの。記事作成時点ではiOS向けの有償フェイストラッキングアプリ「iFacialMocap」のみ対応しており、「外部トラッキングを有効化」にチェックを入れて、iFacialMocapを起動したiPhoneのIPアドレスを入力すればOK。

「アクセサリー」タブでは、アクセサリー用のファイルを読み込ませることで、アバターにアクセサリーを着用させることが可能。

「ハンドトラッキング」では、アバターに自分の手の動きを反映させることができます。「ハンドトラッキング」タブを選び、「ハンドトラッキングを有効化」にチェックを入れます。なお、無料のStandard Editionと税込2500円のFull Editionの違いがハンドトラッキング機能の制限で、Standard Editionの場合はハンドトラッキングを有効化すると、アバター表示にエフェクトがかかるようになっています。

実際にウェブカメラで捉えた手の動きをアバターに反映させてみたところが以下。カメラによるトラッキング自体の精度はそこまで高くありませんが、手の動きだけではなく指の動きまでトラッキングすることが可能です。

Vtuberのようにカメラで撮影した手の動きをアバターへ反映する「ハンドトラッキング」機能を「VMagicMirror」で使ってみたらこう動く - YouTube

実際にVMagicMirrorを使ってみると、シンプルなUIでありながら細かく設定することが可能となっており、動作もかなり軽い印象。VRMファイルのアバターを扱うソフトということもあり、読み込んだ時にライセンスを表示してくれたり、アクセサリーファイルを読み込ませることもできたりと、かゆいところに手が届く仕様となっています。なお、なぜ有償版のFull Editionが用意されているのかについては、開発者の獏星さんがnoteにまとめています。