実写映像を人工知能「ディープラーニング」でゴッホや葛飾北斎っぽく変換した「the four painters」

人間の神経回路を模倣してデータ分類を行う「ニューラルネットワークを用いた機械学習ディープラーニング」の研究が進んだことで、現在、人工知能の技術が飛躍的な進化を遂げています。ディープラーニングは画像識別能力が高く、これまでも風景写真をゴッホやピカソの絵画っぽく変換する試みなどが行われていましたが、現在ではフレームワークを使ってこの技術が簡単に利用できる、ということで、アーティストのTAKUYAさんが実写映像を有名画家の画風に変換した不思議なムービー「the four painters」を製作しています。

以下のブログでは、the four paintersがどういったムービーなのかが説明されています。

Deep Learningを使って映像作品を作った | 踊る犬.net
http://odoruinu.net/blog/2015/12/19/created-movie-with-deep-learning/

例えば、 TAKUYAさんが描いたイラストがコレ。黒を背景にカラフルな線画で植物が描かれています。

変換する元の写真はヨーロッパの町並み。この写真を上記画像の絵柄で模倣させると……

こんな感じになります。

この要領で「映像にしたら面白いんじゃね？」ということで、実写映像を有名画家の絵柄にしていくわけです。組み合わせは以下の通りで、まずはゴッホの「星月夜」と……

くらげの映像。

ムンクの「叫び」と……

近所の公園で撮ったという木漏れ日。

山下清の「長岡の花火」と……

バラの花が開く映像。

葛飾北斎の「千絵の海 蚊鉢流」と……

波の映像。

これらを組み合わせることで完成したのが以下のムービー。

Vimeothe four painters


水中をゆらゆら泳ぐクラゲ。

ライティングが変わるとゴッホの独特なタッチが浮き彫りになります。

ゴッホの画風で映像がどんどん進んでいくのは不思議な感じ。

うねりのようなものがしっかり描かれていて、画像をパッと見ると確かに油絵のようです。

以下はムンクの「叫び」と木漏れ日の映像を組み合わせたもの。やや写実的ですが、これも確かに油絵のような雰囲気。

そして、バラが花咲く様子と山下清の「長岡の花火」を組み合わせた映像が以下のもの。

徐々にほころんでいくつぼみ。

点描が宝石のようにも見える美しい映像に。

波の映像は葛飾北斎の独特な画風が全面的に出ています。

まるでアニメーションのような仕上がりに。

作業はiMac上で行われ、完成するまでには1カ月の時間を要したそうです。映像にはつなぎ目が見られますが、これはGPUメモリが2GBだったため4分割して作業が進められたのが理由とのこと。

なお、TAKUYAさんはディープラーニングを利用して、自分が食べたラーメンの写真を元に好みを分析して似た雰囲気のラーメンを出すラーメン屋を探し出してくれる「麺利き」というアプリもリリースしています。