たった100円でMacBook Proをタッチ対応に変える天才的な方法

「MacBookをiPadのようにタッチ操作したい」という願望を持つ人は少なくありません。Appleが乗り気でないため夢のままのMacBook Proのタッチ操作ですが、約1ドル(約110円)の材料費だけで夢を可能にしたエンジニアが現れています。

Turning a MacBook into a Touchscreen with $1 of Hardware · cat /var/log/life
https://www.anishathalye.com/2018/04/03/macbook-touchscreen/

一部のMacユーザーの夢を叶えたのはMITでポスドクとして研究するAnish Athalye氏、Kevin Kwok氏、Guillermo Webster氏、Logan Engstrom氏ら4人のエンジニア。なんと、着想から16時間でMacBook Proでのタッチ操作を実現させたそうです。

基本的なアイデアは、高い反射率を持つMacBookの光沢ディスプレイを生かすことで、ディスプレイに写りこむ指をカメラで検知してディスプレイのどの部分を指しているのかを読み取ろうというもの。このアイデアはKwok氏が中学生のときに思いつき、外部カメラを使ってシステムとして実装済みだったものがベースになっているそうです。

さらに、マウスカーソルを動かす「Hover」モードと、画面に触れる「Touch」モードを区別するために、反射して映り込む指とのすき間(gap)を利用しています。

外部カメラの代わりにMacBook Proのフロントカメラを利用して、タッチパネル化をすることに決めた4人は、フロントカメラにミラーを取り付けて指の動きを映すことにしました。

ディスプレイ面に対して45度の角度で取り付けた鏡は、使い捨ての紙皿やクリップ、ホットボンドで作ったもので、材料費は1ドル(約110円)以下。

処理は、まず、肌の色や輪郭から本物の指と反射した指を検出し、ディスプレイと垂直方向の動きを読み取ります。それぞれの指の輪郭の間の距離を測定し、距離が短くなり輪郭が同士が重なり合えばTouch、それ以外は指が移動するHoverとして区別するというシンプルなもの。

そして、フロントカメラで読み取ったHover/Touchの座標を、ディスプレイの座標へとマッピングする作業を行ったとのこと。RANSACという数学モデルを利用して、位置を補正しているそうです。こうして指の動きをマウスカーソルの操作に割り当てることで、タッチ操作を可能にしています。

16時間後に完成したタッチ操作の様子は、以下の画像をクリックすると再生されるムービー(約2.9MB)で確認できます。