AIでダンサーの動きを完璧に別人に転送する技術が登場、誰でもマイケル・ジャクソンに

ポルノ女優の顔を好きな俳優の顔に変換するという技術「フェイクポルノ」の登場によって、ディープラーニングを使った映像変換技術「Deepfake(ディープフェイク)」の恐るべき威力が知られることになりました。新たにディープフェイク技術を使って、ダンサーの動きを完璧に読み取り動きを別人のモデルに転送させる技術が登場しています。

[1808.07371] Everybody Dance Now
https://arxiv.org/abs/1808.07371

Deepfakes for dancing: you can now use AI to fake those dance moves you always wanted - The Verge
https://www.theverge.com/2018/8/26/17778792/deepfakes-video-dancing-ai-synthesis

「ダンサーの動きを転送する」ということがどのようなものなのかは以下のムービーを見れば一発で理解できます。

Everybody Dance Now - YouTube


転送される「動き」のソースとなるのはプロのダンサー

ダンサーの動きは、任意のターゲットの動きとして移し取ることが可能です。

まず、ダンサーの動きが撮影され、ディープラーニングを使ったプログラムが動きをスティックフィギュアの形に変換します。

あとは、スティックフィギュアの動きをターゲットに移し替えて、「ターゲットがダンスをする」という映像が出力されています。

ダンサーの動き情報は、あらゆるターゲットに「移植」できます。そのため、複数のターゲットに動きを移行させることで、完璧なシンクロも実現可能です。

当然、ソース対象はバレリーナでもOK。

バレエの心得がなくとも、完璧な演技を披露可能というわけです。

ディープフェイクによる動きの移植に成功したのは、カリフォルニア大学バークレー校のアレクセイ・エフロス博士の研究チーム。ターゲットの顔の再トレースにリアルさを出すための専用のニューラルネットワークや、自然なダンスを再現するために、スティックの動きを滑らかにしてぎくしゃくしないようにするサブルーチンを追加することで、自然な動きを実現しています。

ただし、ダンスでひらひらと動く衣服などを正確に再現することはまだ無理で、ターゲットは肌にぴったりとした衣服の着用が必要だとのこと。さらに技術が進歩すれば、架空のキャラクターを含むあらゆる人物に完璧なダンスをさせることが可能になりそうです。