ディープラーニングを用いて「写真の見た目の特徴」を別の写真に転送してしまう「Deep Photo Style Transfer」

ディープラーニングを用いてベースとなる画像に他の画像のスタイル(見た目の特徴)を付与することで、新しい画像を生成することができる「Deep Photo Style Transfer」が、ソフトウェア開発プロジェクトの共有プラットフォームであるGitHub上で公開されています。

GitHub - luanfujun/deep-photo-styletransfer: Code and data for paper "Deep Photo Style Transfer"
https://github.com/luanfujun/deep-photo-styletransfer

これまでも、ディープラーニングなどを用いてベースとなる画像に他の画像のスタイルを転送する、という試みが存在したそうです。しかし、ベース・スタイルの両方に写真を使っても、出力した画像が写真っぽくない「絵のようなゆがみ」をもってしまうという問題点が存在しました。そこで、新しい研究では入力画像から出力画像への変換を「色空間の局所的なアフィンのみに制限」することで、スタイル画像から時間・天気・季節などの要素だけをベース写真に転送し、フォトリアリスティックな画像を出力できるようになったとのこと。

この成果が「Deep Photo Style Transfer」には反映されているわけですが、実際にどのような画像を生成できるのかは以下の画像を見ればよく分かります。

ベースとなる画像に、ビルの立ち並ぶ都市の風景写真を選択。

続いて、ベースの写真に付与したいスタイルを選択します。スタイルというのは見た目の特徴と思えばOKで、例えば以下の写真のスタイルを学ばせるとすると……

2枚目の写真の「夜景」という見た目の特徴を取り込み、ベースの写真が夜景写真に変身しました。

ベースの写真に取り入れるスタイル写真を別の夜景にすると……

見た目の特徴が異なる夜景写真が生成可能です。

他にも、平凡な曇り空と湖の風景写真をベースとして……

真っ赤な雲が特徴的な風景写真のスタイルを取り込んでみると……

平凡な風景写真に赤色の雲がプラスされ、幻想的な風景写真が生成されました。

さらに、黄色のダリアをベースに……

深紅の薔薇の写真からスタイルを学ばせれば……

深紅のダリアの写真を生成できます。

ある場所の写真を撮影したものの「紅葉シーズンはどんな写真が撮れるんだろう？」と気になった場合。

スタイルに紅葉シーズンの写真をセットすれば……

見たことがなくても特定の場所の紅葉シーズンの写真を作成可能です。

なお、「Deep Photo Style Transfer」はオープンソースの機械学習および音声認識アプリケーションの開発用ライブラリである「Torch」をベースに開発されたもので、オープンソースのプロジェクトとしてGitHub上でソースコードを公開しており、教育・非営利目的での使用のみ許可されています。

GitHub - luanfujun/deep-photo-styletransfer: Code and data for paper "Deep Photo Style Transfer"