iPhone XのTrueDepthカメラを用いた顔面トラッキングアプリは間もなく登場か?開発者の試行錯誤がわかるムービーが公開中


全てが新しく生れ変わった「iPhone X」の中でも特に要注目なのが、ディスプレイ上部に埋め込まれた「TrueDepthカメラ」です。iPhone Xでのみ使える顔認証「Face ID」や「アニ文字」といった機能を支えているのがTrueDepthカメラなわけですが、これを他のアプリにも活用しようとする開発者たちが登場しています。

Developers are already using the iPhone X’s TrueDepth camera for face capture apps - The Verge
https://www.theverge.com/2017/11/15/16658074/iphone-x-face-id-app-developers-3d-the-future

MoonShine 夢想動畫のビジュアルエフェクトアーティストであるElisha Hungさんが、iPhone Xの「TrueDepthカメラ」で顔のモーションキャプチャーを行い、XcodeとAppleの新しい拡張現実(AR)フレームワークである「ARKit」を用いて、モーションキャプチャーした「顔の動き」を3Dレンダリングするムービーを公開しています。

iPhone X Face Motion Capture into Houdini (Projection mapping) on Vimeo


画面左上に映し出されているのがiPhone Xで顔をキャプチャーされる人物。画面中央に表示されているのはキャプチャーした顔を3Dレンダリングしたもの。


口を大きく開いたり……


片目を閉じた微妙な表情をしたり……


顔を左右に振ったりしても、顔の細かな変化をしっかりキャプチャーできていることがよくわかります。


その後も表情を変えまくりますが、3Dレンダリングされたものはしっかり画面左上の人物の表情をトレースしており、TrueDepthカメラの精度の高さを見せつけられます。


同じくiPhone XのTrueDepthカメラで顔の動きをトラッキングした様子を収めたムービー。画面右の、ポリゴンが見える3DCGでキャプチャーした顔の動きを再現しています。

iPhone X Face Motion Capture into Houdini on Vimeo


無表情


口を開き……


鼻の下を伸ばします。


目をつぶったり……


片目だけ開いたりと、さまざまな表情を見事に再現。3DCGのポリゴン数が増えればより細かな表情の変化を再現できそうです。


さらに、ゲーム会社・Hatchlingsの創設者であるBrad Dwyerさんも、iPhone XのTrueDepthカメラに注目しています。TrueDepthカメラから取得できるRAWデータを用い、自分の顔の深度マップを作成・公開しています。


iPhone Xのディスプレイ上部に付いているTrueDepthカメラだけで、これだけ正確に顔の形を測定したり顔の動きをトラッキングできたりというのはとにかく驚き。AppleはTrueDepthカメラを用いた機能としてメッセージアプリで使える「アニ文字」をリリースしていますが、このアニ文字を使ったムービーがiPhone Xの発売直後にYouTuberのFischer's-フィッシャーズ-により公開されており、TwitterなどのSNS上で大きな話題となりました。

笑ってはいけないアニ文字がツボに入ってしまった。 - YouTube


記事作成時点ではTrueDepthカメラの真価を発揮できる機能はFace IDやアニ文字くらいしかありませんが、HungさんやDwyerさんのようなTrueDepthカメラに注目するデベロッパーが増えれば、顔をモーションキャプチャーすることで生まれるアニ文字のような機能が他にも多数登場することになるのかもしれません。

なお、一部では「iPhone Xでのみ使える『アニ文字』はiPhone 8でも動く」と報じられていましたが、Appleはこれを否定しています。

・関連記事
iPhone Xのスマホを超越したカメラ性能をプロの写真家が大絶賛、撮影事例も公開中 - GIGAZINE

iPhone 8/Xの「A11 Bionic」はMacBook ProのIntel Core i5を凌駕する性能を持つ - GIGAZINE

Appleの顔認証「Face ID」のセキュリティに関するApple公式文書を読み解く - GIGAZINE

2018年のiPhoneは「iPhone X」と同じベゼルレスデザインで安価な端末も登場か? - GIGAZINE

AppleいわくiPhone Xの需要は世界的に「ぶっちぎり」 - GIGAZINE

iPhone Xは1年で完全に見違える、とAppleのジョナサン・アイブがコメント - GIGAZINE

11万円超えのiPhone Xは「バリュープライス」とAppleのティム・クックCEOが発言 - GIGAZINE

73

in モバイル,   ソフトウェア,   動画, Posted by logu_ii