Adobeがゴッホやフェルメールの「絵筆のタッチ」を学習して技法を再現するAIを開発

AIは写真などの画像の認識や生成に強みを持っていて、「AI作の肖像画が5000万円で落札される」など、芸術分野においても目覚ましい発達を遂げています。そんな中、絵画における「絵筆のタッチ」を学習し、ダ・ヴィンチやゴッホ、フェルメールの名画にみられる技法を再現するAIをAdobeが開発しています。

LPaintB: Learning to Paint from Self-Supervision
(PDFファイル)https://arxiv.org/pdf/1906.06841.pdf

Adobe AI learns painting styles to reproduce artwork in under a minute | VentureBeat
https://venturebeat.com/2019/06/18/adobe-ai-learns-painting-styles-to-reproduce-artwork-in-under-a-minute/

Adobe's AI Is Capable of Learning Painting Styles and Reproducing Arts in under a Minute
http://www.iphonehacks.com/2019/06/adobe-ai-reproduces-artwork.html

Adobeが開発した絵画AI「LPaintB」を使用して再現した巨匠の絵画がこれ。上段が実際の絵画で、下段がAIが再現したもの。絵画は左からダ・ヴィンチの「モナ・リザ」、ゴッホの「ひまわり」、フェメールの「真珠の耳飾りの少女」です。

単にモザイクをかけただけなようにしか見えませんが、ポイントは単に画像を合成したのではなく、手で絵筆を持って実際に塗った絵画を再現する工程を経て合成されたという点です。研究チームはLPaintBを開発するため、「自己教師学習(Self-Supervised Learning)」という手法を使用しました。これは、教師なし学習の1種で、サンプルデータからAIが自ら訓練データを自動的に作成する機械学習方法です。

この手法でトレーニングされたLPaintBは、実際の絵画を参考に、絵筆の種類や大きさ、1ストロークの長さや強さなどを数値に変換してモデル化します。その後、絵筆を1ストロークずつ動かすようにして絵画を完成させます。実際の環境では、16コアのCPUとNvidia GTX 1080搭載のビデオカードを組み込んだPCを使用し、2万ストロークかけて描く縦1000ピクセル・横800ピクセルの絵画を1分で仕上げることができるのだとのこと。

また、LPaintBは絵画を再現するだけでなく、写真も絵画タッチにすることができます。

研究チームは、LPaintBの優れた点として、人間による手動での学習がほぼまったく必要ない点と、スパコンを使用した実験室ではなく実際にペイントソフトを使用するような環境で動作させることが可能な点をあげています。実際に、Adobeは2019年6月17日にiPadなどのデバイス上で動作するドローイング＆ペインティングアプリ「Adobe Fresco」をリリースしています。

iPad上で油絵や水彩画と同じ「塗り重ね」や「色混ざり」を実現するお絵かきツール「Adobe Fresco」が発表される - GIGAZINE

Adobe製品に広く使われているAI機能のAdobe SenseiにLPaintBが導入されれば、ダ・ヴィンチやゴッホといった絵画の巨匠の技を使ってイラストを描くことができる日がくるかもしれません。