ZoomやSkypeでリアルタイムに他人になりすませるオープンソースのディープフェイクツール「Avatarify」

自宅からリモートワークを行う際、ZoomやSkypeといったオンラインビデオ会議ツールを使用するケースがよくあります。オンラインビデオ会議ツールではウェブカメラを使って自分の顔を映しますが、アルゴリズムで別人になりきってオンラインビデオ会議に参加できるオープンソースのディープフェイクツール「Avatarify」が公開されています。

GitHub - alievk/avatarify: Avatars for Zoom and Skype
https://github.com/alievk/avatarify

This Open-Source Program Deepfakes You During Zoom Meetings, in Real Time - VICE
https://www.vice.com/en_us/article/g5xagy/this-open-source-program-deepfakes-you-during-zoom-meetings-in-real-time

Avatarifyを開発したのはプログラマーのAli Aliev氏です。実際にAliev氏がAvatarifyを使うデモムービーが以下。

Avatarify demo - YouTube


ウェブカメラに映っているのがAliev氏。Zoomと同時にAvatarifyが起動しています。

自身の顔写真を読み込むと、顔の動きに合わせて顔写真が動きます。

読み込んだ顔写真がアバターとなって、ウェブカメラで認識した顔の表情に合わせて動きます。

デモムービーではアインシュタインのほかに、スティーブ・ジョブズや……

モナ・リザ

オバマ大統領などのアバターでしゃべる様子が実演されました。

また、Aliev氏がAvatarifyを使ってテスラやSpaceXのイーロン・マスクCEOになりきって、実際に同僚とのオンラインビデオ会議に参加する様子が以下のムービー。Aliev氏が、「マスクCEOがうっかり間違って別の会議に参加してしまった」という体で「どうも……イーロンマスクです」とあいさつします。

Elon Musk joined our Zoom call | Avatarify - YouTube


Avatarifyは、イタリアのトレント大学の研究チームによって2020年3月に発表された「(PDFファイル)画像アニメーションの1次モーションモデル」のオープンソースコードを使って構築されているとのこと。本来アルゴリズムで表情を自動生成するためには、ターゲットの画像で構成されたデータセットを用いて事前にトレーニングする必要がありますが、Avatarifyは事前のトレーニングがほぼ必要なく、リアルタイムで表情の自動生成が可能になっているそうです。

Aliev氏によれば、AvatarifyはZoom、Skype、Slackでで使うことができるそうですが、導入には多少のプログラミング知識とそれなりのPCスペックが必要とのこと。記事作成時点では「Avatarifyをスムーズに動かすためにはハイスペックなゲーミングPCが必要」だそうですが、「Avatarifyの動作がノートPCに最適化されるのは時間の問題です」とAliev氏は語っています。

なお、当然のことながら、Avatarifyで他人になりきることができるのは顔のみであり、声は本人のまま。ただし、この点についてIT系ニュースサイトのMotherboardは「すでに音声のディープフェイク技術は登場しています。Zoomは個人アカウントが流出している問題を抱えており、Avatarifyと音声ディープフェイク技術を組み合わせれば、アカウント乗っ取りに説得力を与えてしまうかもしれません」と述べました。