たった1枚のキャラ画像とウェブカメラで誰でもVTuberになれるシステムをGoogleのエンジニアが発表

たった1枚の画像とカメラによる顔認識から、ディープニューラルネットワークでバーチャルYouTuber(VTuber)として自然な動きを可能にするシステムを、Google JapanのソフトウェアエンジニアであるPramook Khungurnさんが発表しています。

Talking Head Anime from a Single Image
https://pkhungurn.github.io/talking-head-anime/

実際にKhungurnさんが開発したVTuberシステムがどんな感じなのかは、以下のムービーを見るとよくわかります。

キャラ画像一枚でモデリングしなくてもＶＴｕｂｅｒになれるシステムを作ってみた - ニコニコ動画

例えば、にじさんじ所属の御伽原江良の立ち絵(左)を読み込み、Khungurnさんがウェブカメラで撮影した映像(中央)で顔認識を行った結果を重ねると、Khungurnさんの首の傾きや口・目の動きに合わせて、立ち絵の顔や口が動くのがわかります。

ただし、立ち絵の時点で口が開いていない場合は、口の開閉を自動で処理することはできない仕様となっています。以下の例では、立ち絵で口を閉じている社築にシステムを適用していますが、Khungurnさんが口を開いて話しても、頭や目の動きは同期しているものの、口は開閉しません。

にじさんじ所属のVtuberとしてデビュー予定でありながら、記事作成時点ではまだ世に出ていないユードリックも、Khungurnさんのシステムによってウインクすることができました。

Khungurnさんのシステムは2Dの立ち絵だけではなく、3Dモデルの画像にも応用可能だとのこと。実際にムービーでは、ホロライブ所属のVTuberであるときのそらの3Dモデルの画像を使って、疑似3Dモデルのように動かすテストが行われています。

Khungurnさんのシステムは髪型もちゃんと対応するように設計されているのことで、花畑チャイカの「バランのようだ」と評される独特な髪型やエルフ特有の長い耳も、Khungurnさんの頭の動きに合わせてスムーズに動いています。

2Dモデルでも、前髪で部分的に目が隠れているシェリン・バーガンディの目は、Khungurnさんの目の動きに合わせて隠されていない部分だけが動くようになっていて、目の周辺が不自然にゆがんでいる様子はありません。

鷹宮リオンは可動部が多いツインテールの髪型ですが、顔認識のデータを重ねても問題なく処理されています。出力されたアニメーションを見ると、立ち絵では描かれていないツインテールの先が自動で生成されていることがわかります。

笹木咲はパンダ耳のついたフードをすっぽりとかぶっていて髪型や顔の輪郭が隠れてしまっているためか、やや首元が怪しいものの、Khungurnさんに合わせてなめらかな動きを見せました。

KhungurnさんがこのディープニューラルネットワークによるVTuberシステムを開発したのは、日本のVTuberブームに魅了されたことがきっかけだったとのこと。Khungurnさんは、まずアニメキャラクターの顔画像をアルゴリズムに入力し、「頭の動き」「目の動き」「口の動き」をスライダーで調整すると、それに合わせて変化した顔画像が出力されるシステムを開発しました。どんなシステムかは、以下のムービーを見ると一発でわかります。

A tool for animating faces of anime characters from single images. - YouTube

そして、このシステムをフェイストラッカーとつなぐことで、1枚の絵がカメラで捉えた顔の動きを模倣して動くようになるというわけです。もちろんウェブカメラだけではなく、既存のビデオから顔の動きを転送することも可能。Khungurnさんはデモンストレーションとして、演説するオバマ元大統領を御伽原江良・鷹宮リオン・Waifu Labsでランダム生成した美少女にバ美肉させた様子をムービーで公開しています。

Transfer Barack Obama's motion to anime characters - YouTube

Khungurnさんは、まだ制限がいくつかあるものの、このシステムを応用すれば、キャラクターモデルを作成することなく会話アニメーションを生成できるため、VTuberやアニメーション制作のコストが大幅に削減できると述べています。また、キャラクター画像を直接入力として受け取り、直感的にキャラクターを制御することが可能なので、使いやすいことがメリットだと主張しました。

なお、このシステムの開発は、KhungurnさんがGoogleで携わっている仕事には一切関係のないものであり、Googleのリソースは一切使っていないとのこと。KhungurnさんはGoogle社内のレビュープロセスを通じてソフトウエアの著作権を取得し、正式に論文として出版する予定だと述べました。