100年以上前の白黒写真をディープラーニングで鮮やかなカラー写真によみがえらせる「DeOldify」

歴史的に貴重な資料となる写真の多くは白黒写真であり、当時の様子を伝えながらもその彩りまではわからないこともしばしば。Jason Antic氏がGitHubに公開している「DeOldify」は、白黒写真に自然な色づけを行うことができるという深層学習ベースのモデルです。

GitHub - jantic/DeOldify: A Deep Learning based project for colorizing and restoring old images
https://github.com/jantic/DeOldify

実際にDeOldifyによって色づけされた写真が以下の通り。どれもきれいに色づけされていて、中には元が白黒写真であると信じられないほど自然な色合いになっているものもあります。

1890年のロシア・サンクトペテルブルクで初演された「眠れる森の美女」を演じたバレリーナたち。

1920年代にスウェーデンで撮影された写真。女性がソファの上でくつろいでいます。

立派な羽根飾りをつけたネイティブ・アメリカンの男性。1898年頃の写真です。

1880年代、パリのエッフェル塔下の風景。エッフェル塔の鉄筋と抜けるような青空の対比が見事。

1850年代、男性が女の子5人に地理を教えている写真。

1936年、ロンドンのウォータールー駅で初めてテレビを見た人たちの姿。

劣化して画質の荒い写真でも色をつけることができます。1860年に撮影された侍の写真

DeOldifyは白黒写真だけではなく、モノクロ線画にも自動で色をつけることが可能。以下は19世紀の中国で見られたアヘン窟の風景を描いたもの。

ただし、DeOldifyは必ずしも完全ではないとのこと。例えば以下の1908年に撮影されたネイティブ・アメリカンの女性の写真は、一見すると自然な彩色のようですが、よく見ると女性の右手が真っ赤に染まってしまっています。

Antic氏によると、DeOldifyは深層学習をベースとしたモデルで、Self-Attention型のGenerative Adversarial Networks(生成敵対ネットワーク、GAN)が用いられているとのこと。また、今回GitHubに公開した部分はまだ学習の初期段階であり、以下の画像のように、今後は色だけではなくコントラストや明るさの加工もできるように学習させていくそうです。Antic氏は、DeOldifyは今回のカラー写真化はAntic氏が手がけているデータ・パイプラインの一部に過ぎないと述べ、将来的にはあらゆる画像の修正に役立つはずだと語っています。