映像をゴッホなどの画風にリアルタイムで変化させる技術をGoogleが開発中


芸術分野で使用される用語に「作品の模倣」を意味する「パスティーシュ」というものがあります。撮影した写真に絵画風のフィルターをかけられるアプリ「Prisma」などもパスティーシュの一種で、こういったアプリやソフトウェアは画像をレンダリングしてアート作品のようにするStyle Transferという技術を使っているのですが、GoogleはStyle Transferをさらに進歩させてリアルタイム映像をアート作品のように変化させる技術を開発しています。

以下のムービーにはリアルタイムで撮影している映像をさまざまなアートスタイルに変化させている様子が収められています。

webcam demo picabo - YouTube


撮影した画像(Content)にジョルジュ・ルオーの「Bust of a Clown」(Style)を加えると一番右側のパスティーシュになります。これはStyle Transferという技術を使って実現しているとのこと。


Googleは、機械学習の一種であるConvolutional Neural Networksを用いてStyle Transferを発展させたA Single Style Transfer Networkという技術を開発。画面左上にあるワシリー・カンディンスキーの「Schwarzer Fleck」という絵画のつまみを右端まで上げると、この絵画のスタイルが映像に付与されているのがわかります。


今度はフィンセント・ファン・ゴッホの「ローヌ川の星月夜」のつまみを上げると、犬の映像に2種類のスタイルが加わりました。


「Schwarzer Fleck」のつまみをゼロにすると、「ローヌ川の星月夜」っぽい映像に変化。


コロマン・モーザーの「Ornament for flat surfaces」のスタイルを加えるとこう。


「ローヌ川の星月夜」のつまみをゼロにすると「Ornament for flat surfaces」のスタイルだけを反映させた状態になります。リアルタイムで処理されているのは、素人目に見ても「スゴイ」と感じるレベルです。

・関連記事
ディープラーニングで映像にあわせて効果音を乗せるアルゴリズムが登場、映像に音を乗せるとこうなる - GIGAZINE

ナイスなファッションをしている人の画像から着ている服をディープラーニングで特定して検索可能に - GIGAZINE

Googleの人工知能専門チームDeepMindがたった数カ月で40%もGoogleデータセンターの冷却システムを効率化することに成功 - GIGAZINE

職場で閲覧注意な画像を自動生成するシステムをYahooのディープラーニングで開発 - GIGAZINE

Googleの人工知能で失明を防げるようにする研究がスタート - GIGAZINE

「コンピューターによる音声認識は人間の耳と同レベルに達した」とMicrosoftが発表 - GIGAZINE

174

in 動画,   アート, Posted by darkhorse_log