目の動きだけでキーボードからの文字入力やマウスのクリック操作を可能にする「OptiKey」

キーボードやマウスを手で操作せずとも、目線を移動させるだけで文字を入力したり、カーソルを動かしたりできるソフトが「OptiKey」です。物理キーボードやマウスに完全に取って代わることができ、さらには入力した文章を機械音声で読み上げることも可能となっています。

Home ・ JuliusSweetland/OptiKey Wiki ・ GitHub
https://github.com/JuliusSweetland/OptiKey/wiki

「OptiKey」を使っているデモ映像は以下から見ることができます。

OptiKey v2 - intro - YouTube


PCのディスプレイにキーボードが全画面表示されていて、右下に写っている男性がPCを操作している模様。キーボードの「M」のボタンに目線を合わせると、PCに搭載されたカメラが目線を読み取って、ボタン上で赤い円が描かれていきます。

続いて「e」「e」「t」の順番に目線を写していくと、同様にボタン上に赤い円が描かれていきます。

しばらく目線をキーボードから外していると、キーボード上部の入力欄に「Meet」と単語が打ち込まれました。

さらに連続で単語を打ち込んでいきます。キーボードのボタン上に赤い円が表示されると文字の読み込みが始まるので、どんどん目線を移動させて文字を入力していけばOK。単語間のスペースは自動で入力されます。

ピリオドもちゃんと入力できます。

単語を入力すると、候補となる単語が画面上部に表示されます。

例えばキーボード上で「e」「y」「e」「s」の順に目線を動かすと、入力欄には自動的にアポストロフィーが入った「eye's」が表示されましたが、意図した単語と違った場合は、入力欄の上部に表示されている単語候補から合っているものを選べばOKというわけです。

以下のように入力内容が「eyes」に修正されました。男性は両手を挙げた状態で「手でキーボードやマウスを操作しているわけではないよ」ということをアピール。

入力欄右側の「SPEAK」ボタンに目線を合わせると……

「SPEAK」ボタンが水色のスピーカーアイコンに変わり、打ち込んだ文章を読み上げてくれます。

次に、キーボード下部の「BACK」を選択。

すると、PCのディスプレイの上半分に目線コントロール用のコントロールパネル、下半分にGoogle Chromeが表示されました。

目線を動かして、コントロールパネルの「MOUSE」を選択。

Google Chromeの表示幅が広がり、画面上部にはマウスの操作パネルが表示されました。「LEFT CLICK」を選択してみます。

画面上に巨大なマウスカーソルが現れたので、クリックしたい部分をじっと見つめます。

すると、目線を合わせた部分が拡大表示されるので、詳細部分に目線を移動。

メール作成画面のタイトル欄にカーソルを持っていくことに成功。文字入力ができる状態になったので、画面右上の「BACK」に目線を合わせて、マウス操作パネルを閉じます。

コントロールパネルから「LETTERS」を選択。

メールの件名を打ち込んでいきます。

キーボードの「MOUSE」ボタンを選択すると、コントロールパネルに戻らなくてもマウス操作に切り替えることが可能です。

「LEFT CLICK」を選択して……

メールの本文部分をクリック。

再びキーボードを表示させて、本文を打ち込んでいきます。キーボードの入力欄には前回入力した内容がそのままの状態で残されているようです。

数字・記号のキーボードに切り替えて、「！」マークを入力。

メール本文が完成したら、再び「MOUSE」を選択します。

マウスの「LEFT CLICK」を呼び出して、送信ボタン部分にカーソルを合わせます。

ボタン付近が拡大表示されるので、最後に「SEND」に目線を合わせればメール送信が完了というわけです。

OptiKeyは、筋萎縮性側索硬化症(ALS)などの運動ニューロン病(MND)にかかって手の不自由な人や発声が難しい人向けに設計されたとのこと。Windows搭載PCで動かすことができ、ソースコードは無料で公開されています。