テキストを修正するだけでムービー中の言い間違いを簡単に修正可能な技術が開発される

ムービーの中に言い間違いが残ってしまうと、無理やり音声を編集して重ねても、口の動きや音声のつなぎ方が不自然になってしまうため、本来であれば撮り直しせざるを得ません。しかし、スタンフォード大学、マックス・プランク情報科学研究所、プリンストン大学、Adobeの研究者が共同開発した技術を応用すれば、ムービー内でしゃべっている内容をテキストベースで修正することで、ムービーと音声も同時に修正することが可能になるそうです。

[1906.01524] Text-based Editing of Talking-head Video
https://arxiv.org/abs/1906.01524

Text-based Editing of Talking-head Video
https://www.ohadf.com/projects/text-based-editing/

実際にどんな感じで修正できるのかは以下のムービーを見るとわかります。

Text-based Editing of Talking-head Video (SIGGRAPH 2019) - YouTube

例えば、以下は「Appleの株価は終値191.45ドルとなった」というセリフをしゃべっている女性のムービー。

ムービーで女性が話す文章を「Appleの株価は終値182.25ドルとなった」と修正したい場合、テキストの該当部分をそのまま修正すればOK。すると、女性の顔と音声も同時に編集され、女性がほとんど違和感ないままに正しい内容を話すムービーに修正されました。

この技術のシステムは以下のような感じ。ムービーを入力すると、その音声が音素に応じて分解されます。音素はテキストと紐づけられ、テキストを修正すると他の音声から修正後の音声を作成し、置き換えます。同時に、しゃべっている人物の顔のモデルを生成し、修正後の音声に合わせてトラッキングし、合成するとのこと。

以下の画像は、左が入力した修正前のムービー、中央が修正処理中のムービー、右が修正後のムービーを並べたところ。修正後の音声は自然で、それに合わせてムービーも処理されています。「口の動きと音声とが完ぺきにシンクロしている」といえるほど精度が高いわけではありませんが、一見すると修正されたムービーとはわからない程度に自然な動きに修正されています。

この技術では、ムービー内で話されている内容に新しい言葉を付け加えたり……

話した言葉を完全になかったことにしたりすることも可能。

以下は、会話内で余分に「and」を重ねてしまった男性のムービーを修正したところ。例えば、録画されているプレゼンテーションで、プレゼンターが「フィラー」と呼ばれる、いわゆる言いよどみの表現を多用してしまっても、自然な形でムービーから削除し、見やすくすることができます。また、この技術を応用すれば、例えば俳優が映画の撮影でNGを出してしまっても、NGのムービーを簡単に修正できるようになるため、映画にかかる予算をより低く抑えることができると期待できます。