ライブ動画をリアルタイムで変換するAI動画モデル「MirageLSD」リリース、実例はこんな感じ

AIスタートアップのDecartが、テキストプロンプトに基づいて動画編集を高速かつ制御可能に行うために設計された、新しい拡散ベースのAI動画編集モデル「MirageLSD」を発表しました。MirageLSDは、テキストから動画を生成する従来の動画生成AIと異なり、カメラで撮影した映像やゲームの実況配信をリアルタイムで全く異なるスタイルに「変換」することが可能です。

Decart
https://about.decart.ai/publications/MirageLSD

以下は、FPSゲームの実況配信からMirageLSDを使って生成された、FPSゲームのプレイ風動画。

COD MirageLSD - YouTube

「マインクラフト」のプレイ映像をもとにMirageLSDで生成した映像が以下。

Minecraft MirageLSD - YouTube

実写映像からMirageLSDでアニメーションを生成するとこんな感じ。

What Makes You Beautiful MirageLSD - YouTube

カメラで撮影した殺陣の様子を、MirageLSDを使ってリアルタイムで変換することで、まるでSF映画のようなバトルの動画を生成することも可能です。

Shaolin MirageLSD - YouTube

MirageLSDは、その高速な処理能力が大きな特徴。Decartによれば、MirageLSDの推論時間は6.1秒であり、これは競合するモデルであるDragNUWAの10.5秒と比較して約1.7倍高速です。また、40ミリ秒以下という極めて低い遅延で映像を処理できるため、ユーザーは遅延をほとんど感じることなく、目の前の映像がアニメ風やSF風に変わる体験が可能とのこと。

この高速化は、計算コストを削減するためのいくつかの技術的な工夫によって実現されています。まず、MirageLSDは低解像度で動画全体の大まかな構造を生成し、その後で高解像度化を行う「coarse-to-fine」という戦略を採用しています。

さらに、動画生成の中核をなすU-Netアーキテクチャにおいて、空間軸と時間軸の注意(attention)メカニズムを分離し、時間軸ではキーとバリューのペアをダウンサンプリングすることで、計算量を元の4分の1に抑えています。つまり、動画の生成作業を「フレームの生成(空間軸)」と「フレームの接続(時間軸)」に役割分担させ、さらに後者では過去の映像を全部見返すのではなく要点だけを見ることで、超高速な処理を実現しているというわけです。

性能評価においても、MirageLSDは高い評価を得ているとDecartはアピール。ユーザー評価スコアの比較では、MirageLSDは73％の支持を獲得し、DragNUWAの21％、Raveの6％を大きく上回りました。これは、MirageLSDが生成する動画の品質と、ユーザーの指示に対する忠実度が高いことを示しています。

ただし、Decartによれば、MirageLSDにはいくつかの課題が残されているとのこと。たとえば、MirageLSDの大きな特徴はリアルタイム性と時間無制限の変換能力ですが、処理を高速化するために直近の数フレームを参照して次のフレームを予測するという仕組み上、数十分を超えるような長い動画だと一貫性が失われる可能性があるとのこと。特に、人物の場合は顔の表情や向きが変わると一貫性を保つことは非常に難しいそうです。

MirageLSDは動画の変換に特化していますが、Decartは、将来的に音声や音楽、感情他の要素も統合したより包括的なモデルを開発するという目標を掲げています。