ARでサッカーの試合を立体的にテーブル上に再現する新技術「Soccer On Your Tabletop」がスゴイ

ワシントン大学のコンスタンティノス・レマタス氏が、サッカーの試合映像を拡張銀実(AR)を用いてテーブル上にインタラクティブにレンダリングすることができる技術を発表しました。このシステムはサッカーゲームから抽出した3Dの選手データを畳み込みニューラルネットワーク(CNN)を用いて3D空間に再配置することで、二次元的な試合映像を立体的に変換し、さまざまな方向から自由にサッカーの試合を観戦できるようになるというものです。

Soccer On Your Tabletop
http://grail.cs.washington.edu/projects/soccer/

Football matches land on your table thanks to augmented reality | TechCrunch
https://techcrunch.com/2018/06/19/football-matches-land-on-your-table-thanks-to-augmented-reality/

レマタス氏が考案するサッカーを立体的に観戦できるようになる技術「Soccer On Your Tabletop」がどのようなものなのかは以下のムービーを見えればよくわかります。

Soccer On Your Tabletop - YouTube


映像に映っている男性が着用しているのは、Microsoftの複合現実(MR)ゴーグル「HoloLens」

男性の目の前にある机の上にはサッカーのピッチが広がっており……

なんと目の前で試合が繰り広げられています。もちろんピッチは机の上に固定されているので、ユーザーは360度あらゆる角度から自由に試合を観戦することが可能。

元となった試合映像はまさかのYouTube上に公開されているもの。

これをCNNやゲームデータを用いて3DCGで再構築したのがコレ。

それではいったいどうやってこれを実現しているのでしょうか。

まずは、元となる試合映像。

サッカーのピッチ上には白線が引かれているので、これをカメラキャリブレーションに使用します。

続いてピッチ上に並ぶ選手を検出。

そして各選手の体の動きを推定し……

前後の選手の動きをトラッキング。

これで選手とピッチの区分けが完了。

選手のポーズ・動きのトラッキングから、選手のポーズを深度まで含めて推定可能となり、左右の足のどちらが前に出ているかなどがわかるようになります。

最終的にメッシュを生成して……

サッカーゲームの選手データを用いて試合そのものを再構築。

その後はさまざまな試合映像を再構築した例が流れます。

この映像が･･････

こう変換されます。

「Soccer On Your Tabletop」は開発中の段階であるため選手の動きなどが高精度で再現されているわけではなく、解像度もまだまだで完璧とはほど遠いものになっています。それでも一方向からの映像を、あらゆる角度から見られる立体的な映像に再構築できるというのは「素晴らしいアイデア」であると海外テクノロジー系ニュースサイトのTechCrunchは評価しています。

なお、「Soccer On Your Tabletop」のソースコードはGitHub上で公開されています。

GitHub - krematas/soccerontable: Upconverting YouTube soccer videos in 3D for viewing in AR/VR devices.Soccer On Your Tabletop