失敗写真複数枚からベストショットを生成できるAI「RealFill」、Stable DiffusionのOutpaintingより圧倒的に正確

写真を撮影していると「写真Aは人物の顔が見切れて、写真Bは顔が写ったけど逆光で暗すぎる」といったようにベストショットを撮影できないことがよくあります。Googleとコーネル大学の研究チームが開発したAI「RealFill」を使えば、複数の失敗写真をもとにベストショットを後から作り出せるとのことです。

RealFill
https://realfill.github.io/

RealFillによる処理例はこんな感じ。以下の画像の左側が処理に用いる参考画像で、右側が参考画像をもとに生成されたベストショットです。参考画像には全身画像や背景が写る写真が含まれており、それぞれの要素をもとにベストショットが生成されています。

以下の例では、参考画像に「逆光ではないものの狭い写真」や「広範囲を写したものの逆光になった写真」が含まれており、参考画像をもとに広範囲かつ逆光ではない写真が生成されています。

以下は、左から順に参考画像、実写の正解画像、RealFillで生成した画像、Paint by Exampleで生成した画像、Stable Diffusionで生成した画像を並べたもので、各生成画像は白くモヤがかかっていない部分が生成された部分を示しています。例を見ると、RealFillでは被写体の位置関係などもかなり正確に描写できていることが分かります。

なお、記事作成時点ではRealFillには「『手が実際より短くなる』などの三次元的に正しくない画像が生成される」「正しくないテキストが生成される」といった問題が存在しています。