現実とバーチャルを融合させるデバイス「HoloLens」でNASAがMicrosoftとの共同プロジェクトを発表

Microsoftが2015年1月に発表した「HoloLens」は、装着するだけで現実世界に3D映像を重ねてホログラムのように表示するヘッドマウントディスプレイ(HMD)で、VRヘッドセットの「Oculus Rift」や「Morpheus」とはひと味違うデバイスです。そのHoloLensを宇宙空間で使用する「Sidekick」というMicrosoftとNASAによる共同プロジェクトが発表されました。

NASA, Microsoft Collaborate to Bring Science Fiction to Science Fact | NASA
http://www.nasa.gov/press-release/nasa-microsoft-collaborate-to-bring-science-fiction-to-science-fact

「HoloLens」が現実空間にホログラムを投影することで何ができるのかは、以下の記事で詳しく解説しています。

現実空間にホログラムを投影する「HoloLens」デモがすさまじすぎて必見レベル - GIGAZINE

Sidekickの開始にあたり、NASAは6月28日に2台のHoloLensをSpaceXの物資補給船で国際宇宙ステーション(ISS)に届ける予定。実際に宇宙空間で行われるプロジェクトには「Remote Expert Mode」と「Procedure Mode」という2つのオペレーションモードがあります。

Remote Expert Modeは、HoloLensを装着した宇宙飛行士が見ている映像をSkypeでストリーミング中継して、地上のオペレーターがリアルタイムで指示を与えるというもの。オペレーターは音声で指示できるほか、宇宙飛行士がHoloLensで見ている空間にテキストを表示させてアドバイスすることも可能になります。Procedure Modeは、HoloLensを装着して作業中の宇宙飛行士が見ている空間にホログラフィックな映像で作業のマニュアルを表示するモード。NASAはProcedure Modeにより、トレーニングにかける時間を節約できる上に、コミュニケーションに遅延が発生しやすく難易度の高い作業に役立つ可能性があるそうです。

NASAによると、ISSに届けられる2台のHoloLensは、ソフトウェアとハードウェアのテストを行い、さらに2台のHoloLensをISSに送る予定。その後機能テストやネットワークテストを行い、2015年度末までに実際にHoloLensを使った作業を開始できる見込みです。なお、事前に行われたプロジェクトのテストの様子は以下のムービーから確認できます。

NASA Testing Project Sidekick - YouTube


テストは航空機内に作られた無重力空間で行われました。

HoloLensを装着し空間に表示されているソフトウェアを操作する作業員。

この作業員は空間に何かを描いています。

ボイスコントロールでもソフトウェアを操作。HoloLensを装着した作業員に何が見えているのか非常に気になります。

宇宙空間でも活用できるHoloLensの開発を手がけるMicrosoftは、2015年4月29日から3日間にわたって開催された開発者イベント「Build 2015」で、HoloLens向けのツールやアプリ開発の方法を紹介する「Holographic Academy」という講座を実施し、その様子を収めたムービーを公開しました。講座ではHoloLensを体験するだけではなく、用意されたコードを用いて実際にアプリを開発することもできたとのこと。

Microsoft HoloLens: Holographic Academy and Project Origami - YouTube


アプリを開発するに向けて講座では「GAZE」「GESTURE」「VOICE」「SPATIAL SOUND」「SPATIAL MAPPING」という5つの機能が紹介されました。

GAZEはユーザーの視線をHoloLensで認識させ、視線を空間にカーソルで表示するというもの。

指や手の動きで空間に表示されたオブジェクトやソフトウェアを操作するのがGESTUREです。

VOICEは空間に表示されているオブジェクトを声でコントロールする機能。

浮かんでいるボールに「落ちろ！」と声をかけると……

ボールがストンと落下するという感じ。

SPATIAL SOUNDは空間内の音を再現。

こちらの開発者は「空間内を左右に移動すると、音も左右に移動しているように聞こえました！」と興奮気味に語っています。

「SPATIAL MAPPING」は、現実空間に何があるのかを認識して、仮想空間に取り込む機能です。講座に参加した開発者の1人は「HoloLensを体験してみたけど、まだ現実のものとは信じられないくらいです。それほどの衝撃でした」と、その感動を語っていました。

Microsoftは2015年6月に開催されたゲームの見本市「E3 2015」でHoloLens対応のMinecraftのデモを行い、デモからはゲームの新しい可能性を感じることができます。ただし、実際にHoloLensを体験したユーザーから視野の狭さが指摘されましたが、Microsoftは視野を改善する予定はないとのことです。