小型ドローンを手のジェスチャーだけで操るシステムをMicrosoftのエンジニアが開発

ハンドジェスチャーだけで小型ドローンを操作するシステムを、MicrosoftのソフトウェアエンジニアのSean Kellyさんが開発しました。指揮者のように手を動かすだけで直感的にドローンを操作することが可能です。作者のKellyさんが操作する様子をムービーで公開しており、このシステムのプログラムは公開して、誰でも無料でダウンロードが可能です。

以下のムービーがハンドジェスチャーだけで小型ドローンを操る様子です。

Controlling a Quadcopter with Hand Gestures - YouTube


この人が、ハンドジェスチャーでドローンを操るシステムを公開したSean Kellyさん。ドローンを操るムービーでは、左側に持っているMicrosoftのヘッドマウントディスプレイMicrosoft HoloLensと、右側に持っている競技レース大会にも使用される小型ドローンCrazyflie 2.0 Nano Quadcopterを使用しています。

ドローンを操縦するには、事前にHoloLensをセットして装着しておきます。

電源を入れたドローンを床に置きます。

HoloLensのオプションを設定していき……

ドローンを操るためにHoloLensのBluetooth無線をオン！

これでドローンをコントロールできます。

Kellyさんが指で空中をタップすると……

HoloLensの映像には、室内空間のスキャンが始まる様子が映し出されます。

Kellyさんが指でタップやドラッグをするとドローンが指に合わせて前後左右と縦横無尽に飛んでいきます。

Kellyさんが指を動かすと画面に向かってドローンが飛んできました。

このシステムには操作方法が2つあります。1つ目の操作方法はラジコンのような操作方法で、ハンドジェスチャーで左右のピッチ軸、垂直軸のヨー軸そして左右回転のロール軸を操作します。Kellyさんがこのドローンに搭載されているフライトコントローラーソフトウェアBetaflightの設定画面で説明してくれます。

ハンドジェスチャーでドローンを操作するには、HoloLensをセットした後に、手でタップとドラッグをします。タップして上下にドラッグするとヨー軸操作します。青いバーが、ドローンのヨー軸の操作度合いを示しています。

Kellyさんがタップして、糸を引くように指を上に引っぱると……

ヨー軸の操作度合いを示す青いバーが徐々に伸びていきます。同様にタップして前後のドラッグするとピッチ軸の操作し、タップして左右のドラッグするとロール軸を操作できます。

2つ目の操作は空中で静止しているドローンが指先に合わせて移動する方法です。Kellyさんタップしてドラッグすると……

ドラッグした方向に合わせてドローンが進んでいきます。

Kellyさんによると、「作る際に一番苦労したのは、HoloLensに手の位置を3次元で認識させるところだった」コメント。

HoloLensでハンドジェスチャーを感知し、ドローンに送信するプラットフォームはWindows UWPが使用されています。

Kellyさんによると、このドローン「Crazyflie 2.0」は改造せずにはいられない魅力があり、ムービーで使用したドローンには機体を安定させる別売りのパーツFlow Deck を組み込むほど。このドローンを操作するプログラムはプラベートの空き時間で個人的に作り、Microsoftの技術やプログラムコードなどは使用していないとのこと。また、プログラムはソースコードを公開しており、誰でもダウンロードが可能です。