ゲーム配信の視聴者が「配信中のゲームの中を自由に散策できる」ようにする技術が登場、「神の視点」からピン立てなども可能

多くの3Dゲームではプレイヤーが自分自身の手で視点を動かし、ゲーム内の世界を広く探索することができます。しかし当然ながら、ゲームのプレイ・実況動画を見ているだけの人にとって、見える世界は「実況者が見ている視点」のみに限られます。このような当たり前を解消するかもしれない「動画の視聴者がゲームの世界を自由に見渡す機能」が開発されました。

Enhanced Videogame Livestreaming by Reconstructing an Interactive 3D Game View for Spectators | CHI Conference on Human Factors in Computing Systems
https://dl.acm.org/doi/10.1145/3491102.3517521

Enhanced Videogame Livestreaming CHI 2022 - YouTube


開発チームがゲーム「タイタンフォール2」で再現したものが以下。今回開発された技術で視聴者が見ることができる画面の種類は3つです。1つ目は通常の画面で、ゲームで遊んでいるときや動画を見るときにいつも見る画面です。

2つ目はこんな感じ。ゲームの画面を3D空間に投影したもので、チームはこれを「Volumetric」と呼んでいます。Volumetricは直訳すると「容積測定」で、現実の空間や人間の動作などを3Dデジタルデータに変換する「ボリュメトリックビデオ技術」などにその言葉を見ることができます。

3つ目が技術のキモ。視聴者が完全にプレイヤーの視点を離れて自由にゲーム内の世界を見渡すことができる「World」です。「その場で360度見渡せる」といった生易しいものではなく、オブジェクトなども配置された3D空間を自由に飛び回り、あらゆる視点から「キャラクターのいる世界」を見渡すことができるものです。

ウォータールー大学のジェレミー・ハートマン氏らが開発したこの技術は、ゲームからGPUに渡されるデータを取得して映像データに変換する配信者側のアプリケーションと、配信を介して受け取った映像データから3D空間を構築する視聴者側のアプリケーションの2つで成り立っています。さらに映像データとは別のデータを用いることで配信者と視聴者の相互作用が可能になり、例えば「配信者が見ている画面に視聴者がマーカーを置く」といったことが可能になるそうです。

VRゴーグルを装着することで、ゲームの中に立っているような没入感をより得られるとのことですが、いずれにせよ「配信者が見た世界」しか再現できないため、配信者が見ていない、つまり配信者が画面に映していない場所は何もない真っ白な世界となってしまいます。すでにボランティアが実際に体験していますが、オブジェクトの品質や画面をちらつく影などに問題があるとコメントしたとのこと。

ハートマン氏らはより大規模なアプローチを行い、品質改善に向けて作業を継続するとしています。