Hololensで目の前に本物のようなコックピットが広がる複合現実訓練装置をエアバスとJALが共同開発

複合現実(MR)を実現するMicrosoftのホログラフィック・ヘッドマウントディスプレイ「HoloLens」を使い、目の前に実機さながらのコックピットや機体を映し出すことでパイロットや整備士、乗務員の訓練を行う複合現実訓練アプリケーションをエアバスとJALが共同で開発しました。2017年11月14日には、そのプロトタイプが報道陣向けに公開されました。

エアバスとJALは、2016年からHololensを使った複合現実訓練装置の開発を行ってきました。今回公開されたプロトタイプでは、実際に目の前にA350 XWB型機の機体やコックピット、ドア部分などが表示され、手やコントローラーを使って操作することで航空機の運航に必要な手順を訓練できるようになっています。

当日は、実際にHololensを使ったデモが実演されました。後方のスクリーンに映っているコックピットの光景がHololensの中に映し出されており、利用者はまるで本物の機体を操作しているような感覚で作業手順を覚えられるようになっています。ちなみに、プロジェクターの表示は実際の操作よりも幾分タイムラグがありますが、Hololens上に表示される映像ではほとんどズレはありません。

エアバスとJALが共同開発したHololensを使った訓練システムでコックピットの操作を行うところ - YouTube


Hololensの中に見えている風景はこんなイメージ。デモ実演者の目には、現実の風景に加えてそこに存在するはずのないコックピットのパネルやディスプレイが表示されています。

頭をぐるっと回して周りを見ると、A350 XWB型機のコックピットが完全再現されています。各部の形状はエアバスから本物の3Dデータが支給されており、実機と寸分違わぬ風景が再現されているほか、各ボタンを操作して実機と同じ操作を行えるようになっています。

管制と交信する航空無線機も完全再現され、実際に周波数を入力することも可能。入力された内容は、もちろん計器の画面に反映されます。

エンジンパワーを調整する、2本のスラストレバーも操作が可能。

シミュレーターの画面には、エンジンを始動するための圧縮空気「ブリードエア」を送り込むための表示が見えます。そんな詳細な手順までもが再現されている複合現実訓練アプリケーションでは、Hololensのシミュレーション上でありながらも実機とまったく同じ手順を追うことで、いつでもどこでも、そしてすぐに訓練を行うことが可能になります。

今回のJALとエアバスの共同開発は、JALが2019年からエアバスA350 XWB型機の運行を開始することから実現したもの。エアバスはMicrosoftの「複合現実パートナープログラム」メンバーの1社に選ばれており、Hololensを使った複合現実アプリケーションの開発を進めています。その中で、初のエアバス機導入となったJALと手を組むことで、実際の航空機オペレーターからのフィードバックを吸い上げて技術革新に活かしているとのこと。

今回のデモでは、コックピットの訓練に加えて整備士に対するプログラムも公開されました。実演が行われたのは、機外からドアを開ける手順を訓練するプログラム。単にドアを開けるだけであっても、航空機ではいくつかの手順が定められています。

まずは、機内との気圧差を示す表示をチェックし、次にドアを開けるレバーを操作します。Hololensの画面には、「このようなポーズをとりなさい」と水色で例が示されています。まずはドアに片手をあてて……

もう一方の手でドアに埋め込まれているハンドルを引くと、ドアが開きました。もちろん、逆に扉を閉じる手順のトレーニングを行うことも可能。最終的には実機や実物と同じ模型を使た訓練が必要なことには違いはありませんが、Hololensさえあればいつでもどこでも練習や復習を行うことが可能になるので、より効率よく訓練を進めることが可能になるというわけです。

なお、複合現実のHololensの複合現実とは別に、液晶ディスプレイを備えたLenovo Explorerでも同様のアプリケーションを利用することが可能。むしろ、表示領域の広くないHololensに比べ、眼前に景色がフルに広がるLenovo Explorerのほうが没入は強く得られます。

Lenovo Explorerでのデモはこんな感じ。ノートPCの画面にはヘッドセットで見えている光景がそのまま映し出されているのですが、頭の動きに素早く表示が追従している様子がわかります。

Hololensの仮想現実でA350 XWB型機のエンジンを始動させる手順を訓練 - YouTube


少しだけ複合現実訓練アプリケーションを体験してみたのですが、まるで本当のA350 XWB型機のコックピットに座っているような錯覚を覚えました。ボタンを操作すると対応する部分が反応する様子もそのまま再現されており、インタラクティブな訓練を行うことができる様子が感じられました。もちろん、最後には実機での訓練が必要であることには変わりありませんが、そこに至るまでの上達の段階で手軽に本格的な訓練を可能にするシステムには、大きな可能性が存在してそうです。

エアバスとJALのHololensを使った複合現実訓練アプリケーションは、訓練をいつでも・どこでも・何回でも・しかも安く実施できることを目指したもの。実際に訓練の現場に導入される予定はまだ未定とのことで、今後も開発は進められるとのことですが、開発を主導したエアバスにはこのシステムへの関心が寄せられているほか、他の航空分野においても同様のプロジェクトがいくつも進められているそうです。