TikTok開発元が動画生成AI「Seedance 2.0」を発表、最大9枚の画像と最大3本を参考資料として入力可能

TikTokの運営企業として知られる中国大手テクノロジー企業のBytedanceが動画生成AI「Seedance 2.0」を発表しました。Seedance 2.0はテキストと画像と動画の入力に対応しており、複数カットを含む動画を生成したり画像や動画で細かく特徴を指定したりできます。

🎬 即梦 Seedance 2.0 使用手册（全新多模态创作体验） - Feishu Docs
https://bytedance.larkoffice.com/wiki/A5RHwWhoBiOnjukIIw6cu5ybnXQ

Seedance 2.0はテキストだけでなく最大9枚の画像と最大3本の動画を入力可能な動画生成AIです。Seedance 2.0の発表ページには実際に生成した動画が大量に投稿されています。

以下の画像と共に「女孩在优雅的晒衣服，晒完接着在桶里拿出另一件，用力抖一抖衣服。(洗濯物を干す女の子、干した後にバケツから服を一枚取りだして振る)」というテキストを入力。

生成された動画が以下。服を振る動作や、干された服の揺れ方がリアルに再現されています。

TikTok開発元Bytedanceの動画生成AI「Seedance 2.0」作例その1 - YouTube

複数のカットを含む動画を生成することもできます。逃走する男性の画像とともに「镜头跟随黑衣男子快速逃亡，后面一群人在追，镜头转为侧面跟拍，人物惊慌撞倒路边的水果摊爬起来继续逃，人群慌乱的声音。(黒服の男が素早く逃走する様子をカメラで追う。後ろから大勢の人が追いかけてくる。カメラは横から撮影するアングルに切り替わり、男は路上の果物屋台にぶつかり、起き上がって逃走し続ける。群衆のあわてふためく声が響く)」というテキストを入力。

テキストの指示に従ってカットが切り替わっています。カットが切り替わっても服装や全体の色味が維持されています。

TikTok開発元Bytedanceの動画生成AI「Seedance 2.0」作例その2【マルチカット】 - YouTube

最大9枚の画像と最大3本の動画を同時に入力可能なため、生成する動画の衣装やカット切り替えを細かく指示することが可能。例えば、人物の画像と衣装の画像を入力。

さらに動画も入力します。

「Seedance 2.0」への入力動画 - YouTube

そして「参考第一张图片里模特的五官长相。模特分别穿着第2-6张参考图里的服装凑近镜头，做出调皮、冷酷、可爱、惊讶、耍帅的造型，每一个造型穿着不同服装，每次更换，画面伴随会切镜，参考视频的里鱼眼镜头效果、重影闪烁的炫影画面效果，(1枚目の画像のモデルの顔を参考にする。モデルは2～6枚目の画像の意匠を着てカメラに近づき、『いたずらっぽい』『クール』『かわいい』『驚き』『かっこいい』といった表情を作る。各表情ごとに異なる衣装を着用し、衣装変更時にカットを切り替える。参考動画の魚現レンズ効果や二重像がちらつく映像効果を参考に)」というテキストも入力して生成した動画が以下。人物や衣装や映像効果を指示通りに再現できていることが分かります。

TikTok開発元Bytedanceの動画生成AI「Seedance 2.0」作例その3【複数リファレンス】 - YouTube

XにもSeedance 2.0で生成した動画が複数投稿されています。WaveSpeedAIが投稿した以下のポストでは、参考動画のカメラワークや俳優の動きを完璧に模倣できることが示されています。

Seedance 2.0はBytedanceの生成AIサービスである「即梦AI」などで実行可能です。また、Seedance 2.0が映像制作に大きな恩恵をもたらすという見方から、中国のメディア企業やゲーム開発企業の株価が上昇したことも報じられています。

即梦AI - 即刻造梦
https://jimeng.jianying.com/