iPhone XのTrueDepthカメラを用いた顔面トラッキングアプリは間もなく登場か？開発者の試行錯誤がわかるムービーが公開中

全てが新しく生れ変わった「iPhone X」の中でも特に要注目なのが、ディスプレイ上部に埋め込まれた「TrueDepthカメラ」です。iPhone Xでのみ使える顔認証「Face ID」や「アニ文字」といった機能を支えているのがTrueDepthカメラなわけですが、これを他のアプリにも活用しようとする開発者たちが登場しています。

Developers are already using the iPhone X’s TrueDepth camera for face capture apps - The Verge
https://www.theverge.com/2017/11/15/16658074/iphone-x-face-id-app-developers-3d-the-future

MoonShine 夢想動畫のビジュアルエフェクトアーティストであるElisha Hungさんが、iPhone Xの「TrueDepthカメラ」で顔のモーションキャプチャーを行い、XcodeとAppleの新しい拡張現実(AR)フレームワークである「ARKit」を用いて、モーションキャプチャーした「顔の動き」を3Dレンダリングするムービーを公開しています。

iPhone X Face Motion Capture into Houdini (Projection mapping) on Vimeo


画面左上に映し出されているのがiPhone Xで顔をキャプチャーされる人物。画面中央に表示されているのはキャプチャーした顔を3Dレンダリングしたもの。

口を大きく開いたり……

片目を閉じた微妙な表情をしたり……

顔を左右に振ったりしても、顔の細かな変化をしっかりキャプチャーできていることがよくわかります。

その後も表情を変えまくりますが、3Dレンダリングされたものはしっかり画面左上の人物の表情をトレースしており、TrueDepthカメラの精度の高さを見せつけられます。

同じくiPhone XのTrueDepthカメラで顔の動きをトラッキングした様子を収めたムービー。画面右の、ポリゴンが見える3DCGでキャプチャーした顔の動きを再現しています。

iPhone X Face Motion Capture into Houdini on Vimeo


無表情

口を開き……

鼻の下を伸ばします。

目をつぶったり……

片目だけ開いたりと、さまざまな表情を見事に再現。3DCGのポリゴン数が増えればより細かな表情の変化を再現できそうです。

さらに、ゲーム会社・Hatchlingsの創設者であるBrad Dwyerさんも、iPhone XのTrueDepthカメラに注目しています。TrueDepthカメラから取得できるRAWデータを用い、自分の顔の深度マップを作成・公開しています。

iPhone Xのディスプレイ上部に付いているTrueDepthカメラだけで、これだけ正確に顔の形を測定したり顔の動きをトラッキングできたりというのはとにかく驚き。AppleはTrueDepthカメラを用いた機能としてメッセージアプリで使える「アニ文字」をリリースしていますが、このアニ文字を使ったムービーがiPhone Xの発売直後にYouTuberのFischer's-フィッシャーズ-により公開されており、TwitterなどのSNS上で大きな話題となりました。

笑ってはいけないアニ文字がツボに入ってしまった。 - YouTube


記事作成時点ではTrueDepthカメラの真価を発揮できる機能はFace IDやアニ文字くらいしかありませんが、HungさんやDwyerさんのようなTrueDepthカメラに注目するデベロッパーが増えれば、顔をモーションキャプチャーすることで生まれるアニ文字のような機能が他にも多数登場することになるのかもしれません。

なお、一部では「iPhone Xでのみ使える『アニ文字』はiPhone 8でも動く」と報じられていましたが、Appleはこれを否定しています。