無料でブラウザとウェブカメラがあれば誰でも簡単にVRM形式の3Dアバターで表情と手指の動きをトラッキングして動かせる「OpenLive3D」を使ってみた

自分の動きを3Dアバターに反映させるためには、高価なトラッキング機材やカメラを必要となります。そこで、ウェブカメラで体や顔の動きをキャプチャする方法が有志によって開発されています。「OpenLive3D」はオープンソースで開発されているキャプチャシステムで、ウェブカメラがあれば簡単に顔と手の動きをトラッキングできます。

GitHub - OpenLive3D/OpenLive3D.github.io: Connect Camera to VRM with Web
https://github.com/OpenLive3D/OpenLive3D.github.io

OpenLive3Dは、以下のサイトで体験できます。

openlive3d.com/
https://openlive3d.com/

上記サイトにアクセスすると、ブラウザからカメラの使用を尋ねられるので、カメラを選んでから「許可する」をクリックします。

アクセスして少し読み込みを待つと、ロングヘアーの女性のアバターが表示されます。

ウェブカメラに自分の顔を映していると、顔の表情がアバターに反映されます。

左のアイコンの一番上がハンドキャプチャのオン・オフを切り替えるボタン。ハンドキャプチャを有効にすると手の動きだけではなく、指の動きもキャプチャされました。

ハンドキャプチャのアイコンの下には、表情を変えるアイコンが並んでいます。例えば、これは怒った時の顔。

悲しい顔

笑顔

驚いた時の顔

スマイル

真顔

「AUTO」はカメラキャプチャで表情を読み取るモード。

一番下の「0」は目が「＞＜」となり、口の動きもキャプチャされなくなります。

一番左上のロゴをクリック。

すると、OpenLive3Dのメニューが出てきました。「Model Manager」から「Upload VRM Model」を選択することで、手持ちのVRMファイルをアップロードすることが可能です。

今回はつくよみちゃん公式3DモデルのVRMファイルを読み込ませてみました。

「Video Control」では、ウェブカメラでトラッキングしているポイントを表示することができます。

「Setting」では各パラメーターを細かく設定することが可能。

「Setting」の「BACKGROUND」では、背景色を変更したり背景画像をアップロードしたりすることが可能。

「Parameters」では、パラメーターの変化をチェックすることができます。

なお、実際に使っているとかなり動作が重く、手を勢いよく動かすとVRMモデルが一瞬どこかに消えてしまったりすることもありました。GitHubでは、ブラウザのハードウェアアクセラレーションを有効にすることが勧められていましたが、実際に有効にしてもかなり重かったので、快適に動かすにはそれなりのPCスペックが求められそうです。