邪魔な物体を塗りつぶすだけでAIが画像を違和感ないレベルに自動修正する技術「Image Inpainting」をNVIDIAが公開

写真の情報が欠落した部分を自動で補正する技術「Image Inpainting」をNVIDIAが公開しました。ディープラーニングを使って実現したImage Inpaintingは、写真の中の要らない物体をキレイさっぱりと消し去ってくれます。また、画像の欠落部分の意味を理解して、自然な内容を補うことも可能です。

[1804.07723] Image Inpainting for Irregular Holes Using Partial Convolutions
https://arxiv.org/abs/1804.07723

New AI Imaging Technique Reconstructs Photos with Realistic Results - NVIDIA Developer News CenterNVIDIA Developer News Center
https://news.developer.nvidia.com/new-ai-imaging-technique-reconstructs-photos-with-realistic-results/

Image Inpaintingの実演は以下のムービーで閲覧可能。違和感のない自然な画像補正技術を見せつけています。

Research at NVIDIA: AI Reconstructs Photos with Realistic Results - YouTube

左の画像にImage Inpainting技術を施すことで、右の画像をAIによって自動補正させて画像を修正してきます。

画面奥にある邪魔な物体を塗りつぶして切り取ると……

物体は消え、Image Inpaintingによって切り抜き部分の画像が補正されました。

次に画面中央を走る邪魔な線を切り抜くと……

線は消えました。補正された画像に不自然さはありません。

次に旗を塗りつぶすと……

旗はなくなり……

石を塗りつぶすと……

石もなくなりました。

画面右の白い棒も消去。Image Inpaintingを使えば写真内の邪魔な物体を塗りつぶすだけできれいさっぱり画像から消し去ることが可能です。

写真左下の橋のある道路を塗りつぶすと……

道路はなくなり崖だけの状態に。

崖上の岩を塗りつぶすと……

岩もなくなりました。

大量の図書が収蔵された部屋の写真。

奥の書棚の柱を塗りつぶすと……

柱が消えて本で埋まりました。

天井と本との境を塗りつぶすと……

クラウン・モールディングの装飾がなくなりました。

カーブを描くように塗りつぶしたとしても、自然な感じで補正されています。

Image InpaintingはAIが欠落した部分に最適な情報を埋め合わせる技術なので、人間の顔のパーツに適用すれば、別人に生まれ変わらせることも可能です。女性の目を塗りつぶすと……

まったく別の目が登場。

残った目も塗りつぶすと……

まったく別人の容姿になりました。この画像単体に違和感はまったくありません。

鼻をのぞると……

鼻筋を修正。美容整形のごとく、顔のパーツの形状を変えられます。

男性の髪の一部を切り抜くと……

髪が違和感なく補正されました。

大部分を塗りつぶすと……

額が露わに。生え際も含めてなんとも自然な修正です。

老人の立派な眉を塗りつぶすと……

眉の個性が失われました。続いてあごを塗りつぶすと……

凹凸がなくなり美しい肌へ。

ほうれい線をなぞると……

一気に若返りました。

NVIDIAのギュイリン・リュウ氏らの研究チームは、「Tesla V100」と学習フレームワーク「cuDNN」を使ってニューラルネットワークを訓練してImage Inpaintingを実現したとのこと。なお、訓練では5万種類を超えるランダムなマスク(塗りつぶし)が用いられ、精度検証には別の約2万5000枚のマスクが利用されています。Image Inpaintingではニューラルネットワークは不足している領域と元の写真の両方を調べることでピクセルを再構築する方法を学習したとのこと。リュウ氏は「開発したモデルは、情報が欠落した穴の形状や穴の場所を問わずに修復に対応できる」と述べており、周辺のピクセル情報から欠落部分を予測する従来のモデルよりも優れているとしています。