5400fps撮影の超スローモーション映像をイベントカメラとAIで撮影可能にする技術が開発される

スイス連邦工科大学チューリッヒ校の研究チームが、網膜をモデルに開発された「イベントカメラ」とニューラルネットワークを使って、5400fpsの超スローモーション映像を高画質で撮影する方法を発表しました。

High Speed and High Dynamic Range Video with an Event Camera
http://rpg.ifi.uzh.ch/E2VID.html

Scientists Use Camera with Human-Like Vision to Capture 5,400 fps Video
https://petapixel.com/2019/07/09/scientists-use-camera-with-human-like-vision-to-capture-5400-fps-video/

通常のカメラで24fpsの映像を撮影する場合、1秒間につき24枚の静止画を撮影します。スローモーション映像の場合は、120fpsや240fpsなど1秒辺りのフレーム数を極端に多くして撮影し、再生フレームを24fpsや30fpsに設定することで、実際よりもゆっくりに再生されるようになるというわけです。

今回研究チームが使ったイベントカメラは、レンズを通してセンサーに当たる光の輝度を数値化して出力する通常のカメラと異なり、センサーに当たる光の「輝度の変化」だけを捉えるカメラです。研究チームは「イベントカメラは通常のカメラのような鮮明な映像を得られないものの、非常に広いダイナミックレンジを持ち、被写体ブレがなく、遅延はわずか数マイクロ秒に収まるという利点がある」と考え、イベントカメラのデータからフレームを再構成するシステムを構築しました。

研究チームは、まず最初に手作業でイベントカメラのデータからフレームを再構成するアルゴリズムを開発しました。そして、最初にシミュレートされたデータを使って、同様のアルゴリズムでイベントデータを再構築できるようなニューラルネットワークを訓練し、実データを入力したとのこと。

以下のムービーが、実際に研究チームが公開したスローモーションムービーです。

High Speed and High Dynamic Range Video with an Event Camera - YouTube


イベントカメラで撮影してAIで再構成したムービーは白黒ではあるものの、Huawei P20 Proで撮影された240fpsムービーと同等の画質で撮影できていて、細かい物体の形や動きが捉えられていることがよくわかります。

男性が水風船を割るシーンを、iPadとイベントカメラで撮影したものの比較が以下。イベントカメラは輝度の変化しか認識しないので、普通のカメラと違って物の形を鮮明に捉えるのは苦手なはずですが、iPadで撮影したムービーにも劣らないレベルの画質になっています。

左がイベントカメラのデータで、AIを使って再構築したものが中央。スマートフォンで撮影したムービー(右)では男性の顔にモーションブラー(被写体ブレ)が生まれているのに対して、中央のムービーは男性の顔がくっきりと映っています。

赤・緑・青と色別に輝度を読み取って再構成したものが最右の映像。やはりフルカラーをAIで完全に再現するのは難しいのか、色が混ざりきらずに画面がにじんでしまっているものの、ある程度はカラーでも撮影できる模様です。

また、イベントカメラから再構築するだけではなく、映っているものが何なのかを画像認識で識別しているところが以下の場面。

人間には目が2つありますが、カメラは基本的に単眼なので、物の奥行きを認識するのは難しいものがあります。しかし研究チームの訓練したAIは、イベントカメラの映像から物の奥行きを推定することもできるとのこと。

研究チームによると、AIによって再構築されたスローモーション映像は通常のスローモーション映像よりも画像の品質が20％向上していたとのこと。5000fps以上の高フレームレートムービーの撮影ではセンサーに入ってくる光の量が極端に減ってしまうため、通常のカメラ照明条件が非常に厳しいものとなりますが、輝度の変化を読み取るイベントカメラのデータを使うため、高フレームレートでも高品質なスローモーション映像が撮影できるというわけです。

5000fps以上の高フレームレートで撮影ができるカメラはほとんどが業務用で、その価格や一般市場で入手する難度も非常に高いものがあります。カメラなどを扱う技術系メディアのPetaPixelは、この技術を使うことで、手頃な価格で超スローモーションのHDR映像撮影が可能になるかもしれないと期待を寄せています。