リアルタイムでアニメを4Kサイズにアップスケーリングできるオープンソースのアルゴリズム「Anime4K」

1080pのアニメを4K解像度にアップコンバートできる高速のオープンソースのアルゴリズム「Anime4K」がGitHubで公開されています。Anime4Kは機械学習や統計的アプローチを使用していないにもかかわらず、ニューラルネットワークを使って二次元画像をハイクオリティにアップスケーリングできる「Waifu2x」の300倍以上も高速で、リアルタイムでアニメをアップスケーリングすることが可能となっています。

GitHub - bloc97/Anime4K: A High-Quality Real Time Anime Upscaler
https://github.com/bloc97/Anime4K

画像やムービーをそのまま拡大すると、サイズは大きくなってもノイズが乗ってしまって画質が落ちてしまいます。そのため、画像やムービーを拡大するためには、アルゴリズムを利用して適切な処理を行う必要があります。2015年に発表された「Waifu2x」は、二次元の画像をDeep Convolutional Neural Networksによってアップスケーリングが可能なアルゴリズムです。しかし、機械学習ベースのアプローチは、1080pのムービーをリアルタイムでアップスケーリングするにはかなり時間がかかってしまうという問題がありました。

無料で二次元画像を人工知能が補完してハイクオリティで1.6倍/2倍に拡大できる「waifu2x」 - GIGAZINE

また、開発者のB・ペン氏は、市場に出回っている1080pアニメの多くは本当に1080pというわけではなく、およそ900pでマスタリングされたものが1080pにアップスケールされているケースもあるため、1080pを4Kスクリーン用にアップスケールしようとしても画質の低下は免れないと述べています。

Anime4Kは、アニメの映像を拡大したときのぼやけを修正するというもので、HLSL・GLSL・Javaの実行環境で動作します。ペン氏によると、Anime4Kのアルゴリズム自体は単純で、AMD RX Vega 64で実行すると最速で3ミリ秒での処理が可能、ノートパソコン向けのGPUでもわずか9ミリ秒で処理が可能だとのこと。ペン氏は、Anime4Kを使うことでスマートフォンやノートパソコンなど低スペックのデバイスでもアニメのアップスケーリングが可能になると論じています。

以下が1080pのアニメを4K(2160p)にアップスケーリングした例で、左からバイリニア補間、NGU(Next Generation Upscaling)、Waifu2x、Anime4Kでのアップスケーリングです。

また、以下は720pのアニメを1080pにアップスケーリングしたもの。バイリニア補間の例と比較すると、Anime4Kでアップスケーリングしたものは主線がはっきりと表示されています。

720pから2160pにアップスケーリングした以下の例を見ると、よりAnime4Kで主線がくっきりと処理されて画質があがっていることがよくわかります。

ただし、以下の二次元イラストのように主線が細い静止画をAnime4Kでアップスケーリングした場合はそれほどパフォーマンスが得られず、バイリニア補間とほとんど変わらない結果になるとペン氏は述べています。

ペン氏は、Anime4Kはわずかな時間と少ない予算でアニメをアップスケールするのに優れたアルゴリズムだと主張しています。記事作成時点ではAnime4Kは開発途上で改良の余地はあるとのこと。ユーザーからの要望があれば今後もAnime4Kの分析と改善を進めていくとペン氏は述べました。