写真の特徴を別の写真に移し替える軽量なアルゴリズム「FastPhotoStyle」をNVIDIAが開発

GPU最大手のNVIDIAが、画像イメージが持つ特徴的な「スタイル」をまったく別の写真に「移植」する「FastPhotoStyle」というアルゴリズムを開発しました。FastPhotoStyleはすでにGitHubで無料で公開されています。

[1802.06474] A Closed-form Solution to Photorealistic Image Stylization
https://arxiv.org/abs/1802.06474

写真の見た目の特徴を別の写真に移し替える技術は、ディープラーニングを用いたものがすでにいくつか開発されていました。

ディープラーニングを用いて「写真の見た目の特徴」を別の写真に転送してしまう「Deep Photo Style Transfer」 - GIGAZINE

NVIDIAによると、従来型の技術では加工に高い演算能力が必要とされVGA(640×480ピクセル)サイズの写真を加工するのにも数分かかっていたとのこと。しかし、新開発されたアルゴリズムを用いるFastPhotoStyleは、これらのコンピューティングコストの制限をクリアしているそうです。

FastPhotoStyleでは、「stylization(定型化)」ステップと「smoothing(平滑化)」ステップの2つの過程を経ます。stylizationステップでは、参照元になる写真のスタイルを対象写真に移し替え、smoothingステップでスタイルを空間的に配置するとのこと。従来型のアルゴリズムと違って、反復して最適化を施すことが不要で、stylization・smoothingの両方とも閉形式の解になっているそうです。

FastPhotoStyleを使って特徴を移し替えた例は以下の通り。写真左の「Style Photo」のもつ特徴的なスタイルを、FastPhotoStyleで写真中央の「Content Photo」に移し替えたものが、写真右の「Stylized Content」です。

NVIDIAは、FastPhotoStyleをGitHubで公開しています。

GitHub - NVIDIA/FastPhotoStyle

また、FastPhotoStyleの技術的思想については、以下の論文で読むことができます。

[1802.06474] A Closed-form Solution to Photorealistic Image Stylization
https://arxiv.org/abs/1802.06474