映像をゴッホなどの画風にリアルタイムで変化させる技術をGoogleが開発中

芸術分野で使用される用語に「作品の模倣」を意味する「パスティーシュ」というものがあります。撮影した写真に絵画風のフィルターをかけられるアプリ「Prisma」などもパスティーシュの一種で、こういったアプリやソフトウェアは画像をレンダリングしてアート作品のようにするStyle Transferという技術を使っているのですが、GoogleはStyle Transferをさらに進歩させてリアルタイム映像をアート作品のように変化させる技術を開発しています。

以下のムービーにはリアルタイムで撮影している映像をさまざまなアートスタイルに変化させている様子が収められています。

webcam demo picabo - YouTube


撮影した画像(Content)にジョルジュ・ルオーの「Bust of a Clown」(Style)を加えると一番右側のパスティーシュになります。これはStyle Transferという技術を使って実現しているとのこと。

Googleは、機械学習の一種であるConvolutional Neural Networksを用いてStyle Transferを発展させたA Single Style Transfer Networkという技術を開発。画面左上にあるワシリー・カンディンスキーの「Schwarzer Fleck」という絵画のつまみを右端まで上げると、この絵画のスタイルが映像に付与されているのがわかります。

今度はフィンセント・ファン・ゴッホの「ローヌ川の星月夜」のつまみを上げると、犬の映像に2種類のスタイルが加わりました。

「Schwarzer Fleck」のつまみをゼロにすると、「ローヌ川の星月夜」っぽい映像に変化。

コロマン・モーザーの「Ornament for flat surfaces」のスタイルを加えるとこう。

「ローヌ川の星月夜」のつまみをゼロにすると「Ornament for flat surfaces」のスタイルだけを反映させた状態になります。リアルタイムで処理されているのは、素人目に見ても「スゴイ」と感じるレベルです。