顔の角度や目線を自由自在に操作できるNVIDIAの「Vid2Vid Cameo｣のデモ版を触ってみた

NVIDIAが2021年6月24日に、AI技術によりリアルタイムで顔の画像を加工することが可能なビデオ会議用ツールの新機能である「Vid2Vid Cameo｣を発表しました。NVIDIAのビデオ会議ツール開発プラットフォームにまもなく搭載される予定の「Vid2Vid Cameo」のデモ版が無料公開されていたので、さっそく使用してみました。

vid2vid-cameo demo: One-Shot Free-View Neural Talking-Head Synthesis for Video Conferencing
http://nvidia-research-mingyuliu.com/vid2vid-cameo/

How AI Research Is Reshaping Video Conferencing | NVIDIA Blog
https://blogs.nvidia.com/blog/2021/06/24/vid2vid-cameo-ai-research-video-conferencing/

NVIDIAが2020年10月に発表した「Maxine」は、話者の顔の角度を自動的に調節する機能や、表情の動きを動物やキャラクターのアバターに反映させる機能を搭載したビデオ会議ツール開発プラットフォームです。

NVIDIAがクラウドAIでビデオ会議を加工できる新プラットフォーム「Maxine」を発表 - GIGAZINE

NVIDIAのコーポレートコミュニケーションチームに所属するIsha Salian氏は6月24日に、「Maxine」に新しく追加される新機能である「Vid2Vid Cameo」を発表しました。Salian氏によると、「Vid2Vid Cameo」は敵対的生成ネットワークにより話者の表情の動きをリアルタイムで静止画に合成できるとのこと。

この機能を使えば、あらかじめきちんと正装した自分の写真をアップロードしておくことで、寝ぐせ頭と部屋着の状態のままフォーマルなビデオ会議に出席できるような機能が実現するとSalian氏は述べています。

そんな「Vid2Vid Cameo」のデモ版が公開されているので、さっそく使ってみます。デモ版にアクセスするとこんな感じ。

サンプル画像が8つ用意されているので、試しに「Image 1」をクリックしたところ、男性の顔写真が表示されました。

まず、「pitch(上下)」のスライドバーを右に動かしてから、「Rotate」ボタンを押してみます。すると、写真の男性が顔を上げました。

次に、「yaw(左右)」のスライドバーを右に動かして同様に「Rotate」ボタンを押すと、右を向いていた男性が正面に顔を向けました。

「roll(傾き)」で首をかしげさせることも可能。首と肩がつながらなくなってしまっているものの、姿勢を変えたことで見えるようになった背景のオブジェも違和感なく合成されており、かなり自然な結果です。

また、顔の向きだけでなく、目線も自由に変えることができます。

自分で用意した好きな写真で試すには、「ファイルの選択」をクリックしてから任意の写真を選択して、「開く」「Upload」の順にクリックします。

続いて、顔写真上でドラッグして顔を黄色い枠で囲みます。

あとは、上記と同じ操作で自由自在に顔の角度や目線の向きを変えることが可能です。

AIで顔を自由自在に編集できる「Vid2Vid Cameo」は、近日中にMaxineやNvidia Video Codecのソフトウェア開発キット(SDK)で利用可能になる予定とのことです。