拡散モデルを使用して白黒画像をカラー化する「Color Diffusion」

白黒画像をカラー化する「Color Diffusion」のプロジェクトがGitHubにて公開されています。

ErwannMillon/Color-diffusion: A diffusion model to colorize black and white images
https://github.com/ErwannMillon/Color-diffusion

Color Diffusion: Colorizing Black and White Images with Diffusion Models | by Erwann | Medium
https://medium.com/@erwannmillon/color-diffusion-colorizing-black-and-white-images-with-diffusion-models-269828f71c81

以下が例としてあげられた白黒画像。

Color Diffusionはこれらの画像をカラー化することができます。

一般的に、画像の色はレッド(R)、グリーン(G)、ブルー(B)の「カラーチャンネル」の組み合わせで表現されています。Color Diffusionモデルは、画像のカラーチャンネルに加えられたノイズを徐々に除去する方法を学習します。

Color DiffusionはまずRGBカラー画像を読み込み、Labに変換します。次に、グレースケール画像のチャンネルを一定に保ち、カラーチャンネルにのみノイズを加えます。

この過程をアニメーション化したものが以下。白黒画像の根本的な構造は変化しておらず、モデルに色情報が加えられているのが分かります。実際の推論時は以下のアニメーションのようには表示されず、結果だけが取得されるとのこと。

Color Diffusionを作成した機械学習エンジニアのエルワン・ミロン氏は「Color Diffusionの条件付け情報は高度に構造化されています。テキストプロンプトのような本質的に曖昧なものとは対照的に、グレースケール画像には照明、構図、意味に関する多くの情報が含まれているのです」と説明しました。

ただし、すべてのグレースケール画像には幅広い「正解」が存在し、同じ白黒画像に異なる色を割り当てることが可能な多くの画像が存在するそうです。

ミロン氏は「Color DiffusionはLab画像に拡散モデルを適用する興味深い最初のステップで、私の好奇心を満たし、拡散モデルをゼロからトレーニングする感触をつかむための簡単な概念実証に過ぎません」と述べました。