「ポケモンGO」でポケモンと背景を連動させて動かせるようになるかもしれない技術「IDV」発表

カメラに写った物体を、画像として操作することでリアルタイムで動かせるという技術「インタラクティブ・ダイナミック・ビデオ(IDV)」を、マサチューセッツ工科大学(MIT)のコンピュータ科学・人工知能研究所(CSAIL)が開発したと発表しました。

これは、たとえば「ポケモンGO(Pokémon GO)」のポケモン捕獲画面でARモードをオンにしていると、カメラに写った現実の風景がポケモンの背後に現れますが、IDVを使えばポケモンの動きに合わせてこの風景を動かすことが可能になるかもしれないとのことで、実際にポケモンGOを用いたデモ映像も作られています。

Interactive Dynamic Video
http://www.interactivedynamicvideo.com/

Reach in and touch objects in videos with “Interactive Dynamic Video” | MIT News
http://news.mit.edu/2016/touching-objects-in-videos-with-interactive-dynamic-video-0802

概要がわかるムービーがコレです。

Interactive Dynamic Video - YouTube


いままで、カメラで撮影した被写体は「固定されたもの」、動かせないものでした。しかし、コンピューターとアルゴリズムの導入で、これまでの常識が覆されます。

まず、被写体をわずかに振動させた映像を撮影します。

被写体がどう動くのかを、映像を分析・処理。すると、このように実物には触れることなく被写体を動かせる映像が完成しました。この技術が「インタラクティブ・ダイナミック・ビデオ(IDV)」です。

動かしたときの揺れの大きさは調整可能。

被写体の撮影自体には特別な機材は不要で、普通のカメラと三脚でOK。

風に揺れる植物の映像を数秒撮影して処理を行えば、好きな方向に引っ張って動かせるようになります。

用途としては、たとえば建築物・建造物の柱や梁などの状態を確認する構造ヘルスモニタリングや……

予算の限られた映画での演出などが考えられています。

現実に存在するものに仮想のキャラクターが干渉することはできません。

映画「ジュラシック・ワールド」を例に取ると、これは森林内でロケを行って撮影された映像ですが、恐竜はCGで作られたものなので、恐竜をそのまま動かしたからといって、植物が踏みつぶされることはありません。

そのため、恐竜が干渉することになる植物もCGで作られています。

ところがIDVであれば、仮想キャラクターの動きに合わせて現実の風景を動かすことができます。

映像は必ずしも自分で撮影しなければならないわけではないようです。たとえば、YouTubeで橋の風洞実験映像を見つけたとします。

IDVを使用すれば……

「攻めてきたエイリアンのロボット」が橋に降り立つと、橋がたわみます。

グローブを装着した男性が、植物に向かって「魔法」を使用すると……

植物がばさばさと動きました。現実の風景としては動いていないのですが、IDVによって動かすことができています。

直接的に「ポケモンGO」にこの技術が導入される予定があるわけではありませんが、ポケモンGOを使用したデモ映像も作られています。

Pokemon GO and Interactive Dynamic Video - YouTube


ポケモンGOではAR(拡張現実)を用いた演出が使われています。

これは、ジム戦やポケモン捕獲時に、カメラで写っている映像を背景にすることで、まるでポケモンたちが現実にいるかのように見せるというものです。

しかし、ARでは、現実に存在するものとAR空間にある仮想のものとが相互に影響を与えることはありません。

このようにして手を差し入れても、あくまで「カメラに写った背景」であって、画面に映っているラッタは手には反応しません。

しかし、IDVなら……

スマートフォンで撮影している映像上にポケモンが現れ、そのポケモンの動きに合わせて背景が動く、という処理ができるというわけです。

ピカチュウがはねると、遊具もそれに合わせて動く、という、もっと「ポケモンが存在する」かのような演出ができるようになるかもしれません。

ちなみに、特にこれらのデモでは触れられていませんが、ゲームや映像での「胸揺れ」への応用で役立つ……かも。