ソフトウェア

写真の特徴を別の写真に移し替える軽量なアルゴリズム「FastPhotoStyle」をNVIDIAが開発


GPU最大手のNVIDIAが、画像イメージが持つ特徴的な「スタイル」をまったく別の写真に「移植」する「FastPhotoStyle」というアルゴリズムを開発しました。FastPhotoStyleはすでにGitHubで無料で公開されています。

[1802.06474] A Closed-form Solution to Photorealistic Image Stylization
https://arxiv.org/abs/1802.06474

写真の見た目の特徴を別の写真に移し替える技術は、ディープラーニングを用いたものがすでにいくつか開発されていました。

ディープラーニングを用いて「写真の見た目の特徴」を別の写真に転送してしまう「Deep Photo Style Transfer」 - GIGAZINE


NVIDIAによると、従来型の技術では加工に高い演算能力が必要とされVGA(640×480ピクセル)サイズの写真を加工するのにも数分かかっていたとのこと。しかし、新開発されたアルゴリズムを用いるFastPhotoStyleは、これらのコンピューティングコストの制限をクリアしているそうです。

FastPhotoStyleでは、「stylization(定型化)」ステップと「smoothing(平滑化)」ステップの2つの過程を経ます。stylizationステップでは、参照元になる写真のスタイルを対象写真に移し替え、smoothingステップでスタイルを空間的に配置するとのこと。従来型のアルゴリズムと違って、反復して最適化を施すことが不要で、stylization・smoothingの両方とも閉形式の解になっているそうです。

FastPhotoStyleを使って特徴を移し替えた例は以下の通り。写真左の「Style Photo」のもつ特徴的なスタイルを、FastPhotoStyleで写真中央の「Content Photo」に移し替えたものが、写真右の「Stylized Content」です。


NVIDIAは、FastPhotoStyleをGitHubで公開しています。

GitHub - NVIDIA/FastPhotoStyle


また、FastPhotoStyleの技術的思想については、以下の論文で読むことができます。

[1802.06474] A Closed-form Solution to Photorealistic Image Stylization
https://arxiv.org/abs/1802.06474

・関連記事
ディープラーニングを用いて「写真の見た目の特徴」を別の写真に転送してしまう「Deep Photo Style Transfer」 - GIGAZINE

AIが自動生成する「セレブっぽい写真」が実在するセレブっぽ過ぎて見分けがつかないレベル - GIGAZINE

画像を塗りつぶした部分に一瞬で自然な画像を補完する技術を早稲田大学の研究者が開発 - GIGAZINE

8×8ピクセルに縮小した画像から元の画像を予想する技術をGoogle Brainが開発 - GIGAZINE

Googleがディープラーニングを使ってプロレベルの写真を自動生成できる「バーチャルフォトグラファー」を開発 - GIGAZINE

機械学習を活用しプロのような写真レタッチ加工をスマホでも処理できる技術をMIT・Googleの研究者が発表 - GIGAZINE

手描きの線画が妙にリアルで恐ろしげなイラストに変換される「The fotogenerator」 - GIGAZINE

in ソフトウェア,   デザイン, Posted by logv_to