Wi-Fiで壁の向こうの人物や物体を特定する一部の研究には誤りがあるとの指摘、不正行為がまん延する研究分野に警鐘を鳴らす

近年では、Wi-Fiの電波を用いて壁の向こうの人物の動きをモデル化したり、動作から人物を識別したりする技術の開発が盛んに行われています。しかし、アルバータ大学のアンドリュー・ウォルシュ教授は、これらの研究に対して「時系列データの取扱い方を誤っている」と指摘しています。

Researchers Misrepresenting the Capability of Human Pose Estimation from WiFi Channel Strength Indicators | by Andrew Walsh MD. PhD. | Medium
https://medium.com/@tsardoz/researchers-misrepresenting-the-capability-of-human-pose-estimation-from-wifi-channel-strength-4ec4d2f871a4

Wi-Fiのチャネル強度指標(CSI)を用いて人間の行動や姿勢を推定する研究は近年数多く行われており、一部の研究は「まるでカメラで撮影した映像を見ているかのような結果が得られる」と主張しています。

Wi-Fiで壁の向こうにある静止した物体を「透視」できる技術が登場 - GIGAZINE

しかし、Wi-FiのCSIに関するある研究論文のデータを精査したウォルシュ氏は、研究チームが時系列データをランダムにトレーニングセットとテストセットに振り分けていることが確認されたことを報告しています。一般的に機械学習では、両方のセットでデータが重複することで、モデルの過学習が発生し、過度に良い結果が生まれてしまうことから、時系列データのランダムな振り分けは避けるべきと考えられています。また、ウォルシュ氏によると、精査を行った論文では、時系列データの振り分けに関しては論文内に記載がなかったとのこと。

さらにウォルシュ氏は「このようなランダムな振り分けを行ったにもかかわらず、その方法が記載されていない論文は1つだけではありません」と指摘。「今回のような方法の記載漏れが意図的なものなのかどうかという疑問が生まれます」とウォルシュ氏は述べています。

ウォルシュ氏は論文内のデータの記載漏れについて、「悲しいことに、学者の成功の尺度は、著名なジャーナルに掲載された論文の量に基づいています。このような考え方は、掲載される論文の数を増やすために、いい加減な実験の方法や不正行為、方法の虚偽表示を助長する可能性があります。今回のように機械学習的に欠陥のあるアプローチを採用した論文の数が近年増加していることから、単なる研究方法の記載漏れではなく、先行研究の質を上回るための意図的な戦略である可能性があります」と推測しています。

ウォルシュ氏によると、この方法を取った最初の論文によって悪い前例が作られてしまい、その後の欠陥のある数多くの論文につながってしまったとのこと。

こうした論文を検証するためには、該当の研究において使用されたコードの調査を行い、ランダムな振り分けが行われたかどうかを確認する必要があります。しかし、研究チームによって実験のソースコードが公開されることは極めて珍しく、検証を行うことは困難です。

さらにウォルシュ氏は特定の研究分野において不正行為がまん延していることについて警鐘を鳴らしています。実際に、ある論文で使用されたコードを入手して検証を行ったウォルシュ氏は時系列データがランダムに振り分けられていることを確認。学術研究団体のIEEEに反証を提出するも、その訴えはすぐに取り下げられたことを報告しています。

「他の科学者からの信頼を得るために査読を行うことは極めて重要です。しかし、ある分野で不正行為がまん延している場合、査読者が同じ分野の研究者であることから、自分たちの研究に対する批判を退けるために不正を意図的に見逃している可能性があります」とウォルシュ氏は批判しています。