ディープラーニングで白黒アニメをカラー化するとこうなる

多層構造のニューラルネットワークによる機械学習、いわゆる「ディープラーニング」の力を使ってグレースケールの画像をカラーに変換させるという試みが行われていて、実際に、白黒時代のアニメの映像をカラー化させたらどうなるかというムービーがYouTubeで公開されています。

Colorful Image Colorization
http://richzhang.github.io/colorization/

GitHub - pavelgonchar/colornet: Neural Network to colorize grayscale images
https://github.com/pavelgonchar/colornet

グレースケール画像をディープラーニングでカラー化する「ディープラーニング自動彩色」プロジェクトを進めているのはRichard Zhang氏ら。もちろん、完全にオリジナルの色を再現するというところまでは至っていませんが、雰囲気としてはなかなか悪くないものができあがっています。

一例はこんな感じ。

このプロジェクトをアニメでも試しているのがEiji K氏。たとえば、1968年4月から9月に放送された、初代テレビアニメ版の「サイボーグ009」のオープニングはこんな感じ。

サイボーグ009 OP ディープラーニングによる自動彩色テスト - YouTube


左がオリジナルのモノクロ版、右がディープラーニング自動彩色版。サイボーグたちの服が赤色ベースだったり、岩は茶色だったりと、それっぽく彩色されています。

003 フランソワーズ。ちょっと顔や髪の色の塗りにはむらがあります。

009 島村ジョー。マフラーの色はちゃんと赤になっています。

新幹線のボディ色はもうちょっと白い方がいい気がしますが、オリジナル版で白ではなく灰色に塗られているので、ディープラーニングの方が正しいのかも。

続いては、1966年2月～1967年3月放送の「おそ松くん」(第1期)のオープニング。つい最近、大ヒットした「おそ松さん」のもとはコレなので、色もだいたい同じようなイメージなのですが……

おそ松くん OP1 （白黒）ディープラーニングによる自動彩色テスト - YouTube


6人揃うとこんな感じ。背景色が安定しません。最初は「おそ松さん」を学習して「おそ松＝赤」「カラ松＝青」というように塗り分けるのかと思いましたが、さすがにそうではありませんでした。

6人の制服は青っぽく塗られていてイメージ通り。

しかし、場所によっては赤みがかってしまうことも。

イヤミの服は紫色というイメージがあるので、これはほぼ思っていたとおり。

「おそ松くん」は2代目オープニングも用意されています。

おそ松くん OP2 （白黒）ディープラーニングによる自動彩色テスト - YouTube


もうちょっと色がはっきりと出てくれれば……。

ダヨーンの肌と歯はきっちり塗り分けられていました。

そして、最後は「魔法使いサリー」(第1期)。この作品は1966年12月から1968年12月までの2年間で全109話が放送されましたが、1967年3月放送の17話までモノクロで、1967年4月放送の18話からカラーに切り替わっているので、どういう色をイメージしていたのか、ディープラーニング自動彩色との差を確認することが可能です。

魔法使いサリー(Sally the Witch 1966)　ディープラーニングによる自動彩色テスト(Colorization) - YouTube


まずは家の外観。カラー版では屋根が赤ですが、ディープラーニングではそこまでの再現はできていません。

ソファに座るサリーちゃん。カラーではソファは緑色ですが、ディープラーニングだと青っぽい色に。ちなみに、ソファの柄や右上の絵の違いから、カラー版にするときに新たに絵を描き直していることがわかります。

サリーちゃんのアップ。ディープラーニングでも、なんとか服は赤系統になっていますが、肌の色がうまく出ていません。

空を飛ぶサリーちゃんの引きの絵では、ディープラーニング自動彩色がサリーちゃんの服をはっきりと真っ赤に塗っていて、カラー版よりも視認しやすくなっています。

カブたちが出てくるシーンでは、ディープラーニングだとカブの髪の色が赤っぽくなってしまっています。しかし、傘の色は微妙に塗り分けていて、かなり頑張っている感じがします。

さらなる学習を重ねていけば、もっとイメージ通りの自動彩色ができるようになっていくかもしれません。