ディープラーニングで白黒アニメをカラー化するとこうなる


多層構造のニューラルネットワークによる機械学習、いわゆる「ディープラーニング」の力を使ってグレースケールの画像をカラーに変換させるという試みが行われていて、実際に、白黒時代のアニメの映像をカラー化させたらどうなるかというムービーがYouTubeで公開されています。

Colorful Image Colorization
http://richzhang.github.io/colorization/


GitHub - pavelgonchar/colornet: Neural Network to colorize grayscale images
https://github.com/pavelgonchar/colornet


グレースケール画像をディープラーニングでカラー化する「ディープラーニング自動彩色」プロジェクトを進めているのはRichard Zhang氏ら。もちろん、完全にオリジナルの色を再現するというところまでは至っていませんが、雰囲気としてはなかなか悪くないものができあがっています。

一例はこんな感じ。


このプロジェクトをアニメでも試しているのがEiji K氏。たとえば、1968年4月から9月に放送された、初代テレビアニメ版の「サイボーグ009」のオープニングはこんな感じ。

サイボーグ009 OP ディープラーニングによる自動彩色テスト - YouTube


左がオリジナルのモノクロ版、右がディープラーニング自動彩色版。サイボーグたちの服が赤色ベースだったり、岩は茶色だったりと、それっぽく彩色されています。


003 フランソワーズ。ちょっと顔や髪の色の塗りにはむらがあります。


009 島村ジョー。マフラーの色はちゃんと赤になっています。


新幹線のボディ色はもうちょっと白い方がいい気がしますが、オリジナル版で白ではなく灰色に塗られているので、ディープラーニングの方が正しいのかも。


続いては、1966年2月~1967年3月放送の「おそ松くん」(第1期)のオープニング。つい最近、大ヒットした「おそ松さん」のもとはコレなので、色もだいたい同じようなイメージなのですが……

おそ松くん OP1 (白黒)ディープラーニングによる自動彩色テスト - YouTube


6人揃うとこんな感じ。背景色が安定しません。最初は「おそ松さん」を学習して「おそ松=赤」「カラ松=青」というように塗り分けるのかと思いましたが、さすがにそうではありませんでした。


6人の制服は青っぽく塗られていてイメージ通り。


しかし、場所によっては赤みがかってしまうことも。


イヤミの服は紫色というイメージがあるので、これはほぼ思っていたとおり。


「おそ松くん」は2代目オープニングも用意されています。

おそ松くん OP2 (白黒)ディープラーニングによる自動彩色テスト - YouTube


もうちょっと色がはっきりと出てくれれば……。


ダヨーンの肌と歯はきっちり塗り分けられていました。


そして、最後は「魔法使いサリー」(第1期)。この作品は1966年12月から1968年12月までの2年間で全109話が放送されましたが、1967年3月放送の17話までモノクロで、1967年4月放送の18話からカラーに切り替わっているので、どういう色をイメージしていたのか、ディープラーニング自動彩色との差を確認することが可能です。

魔法使いサリー(Sally the Witch 1966) ディープラーニングによる自動彩色テスト(Colorization) - YouTube


まずは家の外観。カラー版では屋根が赤ですが、ディープラーニングではそこまでの再現はできていません。


ソファに座るサリーちゃん。カラーではソファは緑色ですが、ディープラーニングだと青っぽい色に。ちなみに、ソファの柄や右上の絵の違いから、カラー版にするときに新たに絵を描き直していることがわかります。


サリーちゃんのアップ。ディープラーニングでも、なんとか服は赤系統になっていますが、肌の色がうまく出ていません。


空を飛ぶサリーちゃんの引きの絵では、ディープラーニング自動彩色がサリーちゃんの服をはっきりと真っ赤に塗っていて、カラー版よりも視認しやすくなっています。


カブたちが出てくるシーンでは、ディープラーニングだとカブの髪の色が赤っぽくなってしまっています。しかし、傘の色は微妙に塗り分けていて、かなり頑張っている感じがします。


さらなる学習を重ねていけば、もっとイメージ通りの自動彩色ができるようになっていくかもしれません。

・関連記事
実写映像を人工知能「ディープラーニング」でゴッホや葛飾北斎っぽく変換した「the four painters」 - GIGAZINE

14台のロボットアームに分散自己学習させて人間が数年かけて覚える動作を爆速で経験して身につけさせる恐るべきムービーをGoogleが公開 - GIGAZINE

NVIDIAがPascal世代の新GPU「TESLA P100」&ディープラーニング用スパコン「DGX-1」を発表 - GIGAZINE

ディープラーニングで森の中を迷わずに自律飛行できる遭難救助ドローン - GIGAZINE

自動運転カーを実現する開発ユニット「NVIDIA Drive PX 2」によるディープラーニングのデモはこんな感じ - GIGAZINE

Googleはモバイル端末に人工知能を組み込み「関係性」を理解できる専用チップ開発を計画している - GIGAZINE

Yahoo!が年齢・性別・居住地域など13TB超の巨大データを機械学習用に無償提供開始 - GIGAZINE

304

in ソフトウェア,  動画,  アニメ, Posted by logc_nt