ペンの動きをカメラで捉えてデジタルで描画する6DoFを実現したスタイラスペン「D-POINT」

タブレットやスマートフォンなどに付属するデジタルポインティングデバイス「スタイラスペン」は、通常ペン先とモニターが接触するか、近づくことでデバイスに入力情報を伝えるものです。新たに登場した「D-POINT」は、ペン尻に付いたマーカーをカメラが読み取ることで文字を入力できます。

GitHub - Jcparkyn/dpoint: Open-source digital stylus using camera tracking and inertial measurements
https://github.com/Jcparkyn/dpoint

D-POINTが動作する様子は以下の動画で確認可能。クリックすると再生されます。

D-POINTの内部構造はこんな感じ。ペン尻にXIAOのSoC「nRF52840」があり、内部にUSB Type-Cで充電可能なリチウムイオン電池が、ペン先に力覚センサーがあるという形です。ペン先はプラスチック。

ペン尻には、マーカーを検出するための別のプロジェクト「ArUco」のマーカーが8個付いています。このマーカーをカメラで読み取ることで、ペンの位置や姿勢、向きを読み取ることができるとのこと。

動作処理としては、まずカメラでArUcoマーカーを検出し、位置を補正して、Perspective-n-Pointを用いてペンの姿勢を推定。構成の後にペン先の位置と方向を計算し、画面に描画するというもの。

D-POINTは筆圧検知も可能で、ミリメートル以下の精度で6DoF入力を実現。ペンと市販のウェブカメラさえあればどんな面にペンを当てても描画可能です。

このプロジェクトのコードと設計ファイルはオープンソースで公開されています。