ディープラーニングで既存の映像をありとあらゆる絵画テイストに自動で変換できる驚異のアルゴリズム

技術の進化が著しい「ディープラーニング」を使うことで、著名な画家の作風を認識し、別の映像をそのテイストに変換してしまうというアルゴリズムの開発が進められています。ドイツ・フライブルク大学コンピューターサイエンス学部のManuel Ruder氏らによる研究で行われた実際の変換の様子がムービーで公開されているのですが、その様子は驚きを禁じ得ないレベルに達しています。

Supplementary video for "Artistic style transfer for videos" - YouTube


このアルゴリズムは、コンピューターサイエンティストのLeon A. Gatys氏らが2015年に発表していた論文の内容をさらに発展させたもので、素材となる映像に著名な画家の作風を反映させることができます。例えば、CGアニメ映画「アイス・エイジ」に、ゴッホの作品「星月夜」のテイストを掛け合わせると……

こんな感じに変化。しかし、画面にはシミやボケのようなものが見受けられます。

これは、映像を1フレームごと単体で処理を行ったため。実際の映像を見れば、不自然なシミや明暗の変化が見受けられて不自然な印象になっていることがよくわかります。

そこで、2つのフレーム間に存在する偏差を考慮するtemporal constraint(時空間制約)を取り入れて処理することで、不自然なノイズが発生することを抑制することに成功。

まさにゴッホ作品のテイストが、アイス・エイジの映像に加えられているといえます。

次の映像は、CGアニメーションとムンクの「叫び」を掛け合わせたもの。元の映像が……

こんな感じに変化。写実的だったアニメの映像が、すっかり印象的なものに置き換えられている様子に驚き。

CGアニメーション作品「Sintel」に、フォーヴィスムを代表するフランス人画家のアンリ・マティスが描いた「帽子の女(La femme au chapeau)」のテイストを掛け合わせると……

こんな感じに。「帽子の女」に比べるとややソフトフォーカス気味で、どことなく点描のようなニュアンスもどことなく感じられる画に仕上がっています。

CGアニメに、ピカソのキュビスム作品「Weated female nude」を掛け合わせると……

すっかり世界観が変化。しかし、キュビスム感は少し弱いと感じられるかも。

もちろんこのアルゴリズムはCGだけでなく、実写の映像にも対応。テレビドラマ「ミス・マープル」のワンシーンにゴッホの星月夜を掛け合わせることで……

こんな感じに。静止画ではなく、動画でこの雰囲気が再現されているところが驚き。

CGによる壮大な風景を、山水画のテイストで描き直すこともできる模様。

画像の質感がガラッと変わり、岩の表情などのディティールに山水画を感じさせるニュアンスが加えられていることがわかります。

以下のムービーでも、変化の様子や処理の違いを見ることができます。

Artistic style transfer for videos - YouTube


記事冒頭で出てきた「アイス・エイジ」のシミは、映像を1フレームごと単独で処理したことによるものでしたが……

temporal constraintを取り入れることで、映像から不自然なノイズを大きく軽減することに成功しています。

ドイツ・フライブルクにあるミュンスター大聖堂周辺の広場の映像を、ゴッホの絵画「夜のカフェテラス」っぽく変換すると……

こんな感じ。もはやどちらが本当のゴッホの絵なのか、知らない人が見たら見分けることができないレベル。

Sintelに「帽子の女」を重ねるとこんな感じでしたが……

ロシアの抽象画家、ワシリー・カンディンスキーの「Compositon VII」を掛け合わせるとこんな感じ。

ピカソの自画像だとこう。元素材からの変化にとにかく驚かされる技術です。

スター・ウォーズの一場面を、ドイツの印象画家、Heinrich Schlief風に変換すると……

こんな感じに。奥の方に映っている壁面の様子にも大きく変化が加えられているところが要注目。

アイス・エイジに、ラスコー洞窟の壁画のテイストをあわせると……

こうなりました。壁画とはまた質感が、これはこれでなかなかいい感じになっています。

なお、2016年6月に新しく発表されているこのアルゴリズムについての論文は、以下のリンクから閲覧することが可能です。

[1604.08610] Artistic style transfer for videos
http://arxiv.org/abs/1604.08610

(PDF)Artistic style transfer for videos

また、ソースコードはGitHubで公開されているので、誰でも実際に試してみることが可能です。

GitHub - manuelruder/artistic-videos: Torch implementation for the paper "Artistic style transfer for videos"
https://github.com/manuelruder/artistic-videos