フルHD化が難しい「スター・トレック」を自作のAIでフルHD＆4Kにアップコンバートした猛者が登場

「スタートレック：ディープ・スペース・ナイン(DS9)」は人気SFシリーズ「スター・トレック」の3作目となるテレビドラマで、日本では1996年から2002年にかけて放映されました。このDS9は480pのSD画質であるDVD版はリリースされているものの、諸事情により1080pのフルHD画質でリマスタリングしたBD版は記事作成時点でもリリースされていません。そんなDS9を機械学習を用いることでフルHDアップコンバートしたファンが登場しました。

Remastering Star Trek: Deep Space Nine With Machine Learning
https://captrobau.blogspot.com/2019/03/remastering-star-trek-deep-space-nine.html

シリーズ第1作の「宇宙大作戦」とシリーズ第2作の「新スタートレック」はBD版がリリースされているにも関わらず、第3作であるDS9はBD版がリリースされていません。その理由が、スター・トレック関係の情報を発信するTrekNews.NetがDVD版のプロデューサーであるRobert Meyer Burnett氏に対して行った取材の中で明らかになっています。

by davidcallidae

Burnett氏によると、DS9をフルHDにリマスタリングするには時間とお金がかかるとのこと。DS9は20メガピクセルの35mmフィルムで撮影されましたが、北米やアジアのテレビでは35mmフィルムよりもずっと小さい640ピクセル×480スキャンラインの解像度となるNTSC規格を採用していたため、フィルムで撮影したものをテレビ放映用にダウンコンバートする必要がありました。新スタートレックとDS9、そしてドラマ4作目の「スタートレック：ヴォイジャー(VGR)」では、撮影したフィルムを編集してからテレビ放映用にダウンコンバートするのではなく、あらかじめ撮影したフィルムをすべてテレビ放映用にダウンコンバートしてから編集を行ったそうです。

大きな問題は1980年代から行われるようになったCG合成処理です。Burnett氏によると、新スタートレック以降のテレビドラマシリーズではCGが使われるようになり、特にDS9とVGRではふんだんに用いられたとのこと。CG合成処理はテレビ放映用の480pムービーに対して行われるため、DS9とVGRのフルHDリマスターを出すためには「35mmフィルムを編集し直して同じCG合成処理を施す」という作業が必要になる以上、どうしてもコストがかかりすぎてしまうというわけです。なお、Burnett氏によると新スタートレックの完全なオリジナルフィルムは既に失われてしまったとのこと。

by Classic Film

Burnett氏へのインタビューからより高画質なDS9の登場は実現不可能なものかと思われがちですが、ゲーム「ファイナルファンタジーVII」でプリレンダリングされた背景をHD画質にアップコンバートするMODを作成していたCaptRobau氏が、MOD用に開発した「AI Gigapixel」を用いてSD画質のDS9をフルHDや4Kにアップコンバートするという「擬似的なリマスタリング」が可能なのではと考えました。

実際にSD画質のムービー(左)とフルHDにアップコンバートしたムービー(右)を並べたものは以下のムービーから見ることができます。

DS9 Remastered With Machine Learning - Comparison Video (480p to 1080p) - YouTube


以下の画像はDVD版のDS9の1カット。サムネイル画像をクリックすると、元画像が表示されます。

これをAI Gigapixelで1080pにアップコンバートするとこんな感じ。

ボールを握るシーンは……

アップコンバートするとこんな感じ。同じサイズのサムネイル画像だと一見するとその差がわかりづらいですが、SDサイズの静止画をそのままフルHDサイズに拡大しても、画質が劣化してしまうことはありません。

CaptRobau氏は「AIによるフルHDへのアップコンバートはうまくいっている」とその結果に満足している様子。また、CaptRobau氏はDS9の冒頭部分を4Kにアップコンバートしたムービーも公開しています。ただし、CaptRobau氏自身は4Kモニターを持っていないため、どれだけアップコンバートが成功しているかは把握できていないそうです。

Remastered DS9 Intro 4K - Machine Learning Upscaling - YouTube


「スター・トレック」の大ファンであるCaptRobau氏は、この技術を使ってDS9の全てをフルHDにアップコンバートしたいとは思ったそうですが、もちろんDS9の権利を持っていないため不可能。そのため、今回の試行はあくまでも実験となりますが、もし権利を持っているCBSがDS9のフルHDリマスタリングを考えている場合、この機械学習とニューラルネットワークは十分助けになるだろうとCaptRobau氏は述べました。