映画をそのままマンガ化した「フィルムコミック」を完全自動で作り出すシステムが研究中

映画やアニメなどの映像作品から大量の静止画を切り抜き、まるでマンガのコマ割りのように配置し、セリフや効果音を追加したものが「フィルムコミック」です。そんなフィルムコミックを、編集者がいなくても全自動で作ってくれるシステムを、中国の大連科技学院の研究者らが開発しました。

[2101.11111] Automatic Comic Generation with Stylistic Multi-page Layouts and Emotion-driven Text Balloon Generation
https://arxiv.org/abs/2101.11111

A system that automatically generates comic books from movies and other videos
https://techxplore.com/news/2021-02-automatically-comic-movies-videos.html

研究者らのシステムは、動画からキーフレームを抽出してコミック風の画像に変換した後、複数のページにわたってコマ割りを行い、時系列に沿って画像並べていくというもの。

各キャラクターのセリフは、音声や動画に含まれている字幕ファイルから抽出されて吹き出しに記入されます。

また、セリフの文字の大きさや吹き出しの形は、音声を分析してシステムがキャラクターの感情を評価し、それに応じて変化します。

さらに、画面内に映る役者の口を顔認識システムでキャプチャーし、「今誰がしゃべっているのか」を判断することも可能です。

実際に4つのムービーから自動的に作られたマンガが以下の画像。生成元に使われた作品は、(a)と(e)が1997年公開の映画「タイタニック」、(b)と(f)が中国映画の「The Message(风声)」、(c)と(g)がドラマ「フレンズ」、(d)と(h)が2009年公開の映画「マイレージ、マイライフ」です。

研究チームによれば、動画のキーフレームの選択はまだ精度が低く、場合によっては同じようなキーフレームが選択されるため、生成されるマンガが冗長なものとなることもあるとのこと。それでも研究チームは「私たちの実験は、これまでのシステムと比較してより表現力豊かで魅力的なマンガを合成できることを示しています」と述べました。