Wi-Fiの電波で壁の向こうにいる人の姿勢や動きを3Dモデル化する新技術「WiPose」が登場

Wi-Fiの電波を用いて、壁の向こうにいる人の姿勢や動作を高い精度で感知できる新技術「WiPose」が発表されました。これにより、暗い環境や障害物がある場所など、従来のカメラを用いたセンシング技術が抱えていた欠点を克服することができると期待されています。

Towards 3D Human Pose Construction Using WiFi
(PDFファイル)https://cse.buffalo.edu/~lusu/papers/MobiCom2020.pdf

ニューヨーク州立大学バッファロー校の研究者であるWenjun Jiang氏らが開発した「WiPose」がどんな技術かは、以下のムービーを見ると一発で分かります。

[MobiCom 2020] Towards 3D Human Pose Construction Using WiFi - YouTube

中央に立っている男性の周りには、ついたてで隔てられたWiPoseのWi-Fi受信用アンテナが設置されています。

この状態で男性が駆け足のポーズをとると、WiPoseで構築された右の3Dモデルも同じポーズをとりました。

カメラがついたての後ろに回り込んで、男性の姿が見えなくなっても、3Dモデルで男性がどんなポーズをとってるかが分かります。

体を大きくひねるような動きも、正確にトレースしていました。

WiPoseは「データ収集」「データの前処理」「骨格モデルの構築」の3段階のプロセスで、壁の向こうにいる人の動作を認識します。

まず、「データ収集」では1台のWi-Fiトランスミッター(送信機)と複数の受信用アンテナ、モーションキャプチャーシステムを使用して、電波の反射から対象者のポーズを測定します。次に、収集したWi-Fi信号のデータから、電波信号の減衰や回折による損失などに関するチャネル状態情報(CSI)を抽出し、ディープラーニングに入力できるように「データの前処理」を行います。

そして、最後にディープラーニングを用いて、リアルで自然な「骨格モデルの構築」を行います。以下は、上からポーズをとっている対象者の写真、手本として作成された3Dモデル、比較のために使用された「RF-Pose3D」の3Dモデル、WiPoseによる3Dモデルを並べたもの。2018年に発表された従来のRF-Pose3Dでは、3Dモデルのひじが不自然に曲がっていたり、挙手しているはずの両腕が下がっていたり、腕が異様に長くなったりしていますが、WiPoseの3Dモデルは手本と見比べても遜色ない正確さです。

また、以下は左から真っ暗な中で撮影した対象者の写真、手本の3Dモデル、WiPoseの3Dモデルを並べたものです。真っ暗でほとんど何も見えない状況では、通常のカメラは役に立ちませんが、Wi-Fiの電波を使用するWiPoseなら問題なく3Dモデルを構築できます。

研究者らは、WiPoseを発表した論文の中で「WiPoseにより、人体の骨格の各関節を平均2.83センチの誤差で定位することが可能となりました。これは、2018年に発表された従来の技術と比較して、精度が35％向上していることを示しています。我々が知る限りでは、市販のWi-Fi機器を用いて3Dでポーズを構築できることを示した研究は、本研究が初めてです」と指摘しました。

また、将来的なWiPoseの展開については「Wi-Fi機器は身近なものであるため、WiPoseのようなシステムにより広範な機能を容易に活用することができます。例えば、高齢者や患者のプライバシーを侵害することなく見守るヘルスケア技術や、閉鎖的な環境から仮想空間に人間のポーズを転送してプレイするようなゲーム、バーチャルリアリティ(VR)技術、服やバッグなどで手の動きを隠してしまうショッピングモールでの万引を検知する技術などが挙げられます」と述べました。