カメラなしの端末に各種センサーを搭載して「スマート環境」を実現する汎用センサー「Synthetic Sensor」

ヒューマン・コンピューター・インタラクション(人間とコンピューターの相互作用)の分野において重要な位置付けにある国際会議・CHI2017で、Googleも出資している「Synthetic Sensors Project」がお披露目されました。ネットに接続してスマートフォンなどと連携するスマート家電が増えていますが、このセンサーの特徴はプライバシーを考慮してカメラを非搭載であること。その代わりに充実したセンサー類によって「スマート環境」を実現できるようになっています。

Gierad Laput | Synthetic Sensors
http://www.gierad.com/projects/supersensor/

Synthetic Sensors Project Presented at CHI 2017 | Human-Computer Interaction Institute
https://www.hcii.cmu.edu/news/2017/synthetic-sensors-project-presented-chi-2017

Synthetic Sensorを使うとどんなことができるのかは以下のムービーを見ればわかります。

Synthetic Sensors: Towards General-Purpose Sensing - YouTube


「冷蔵庫のドアを開けっ放しにしていなかったか？」「コーヒーできていたっけ？」「ちゃんとコンロの火は消しただろうか……」とキッチン周辺には気をかけるポイントがたくさんあります。

その助けとなるのが、スマートフォンと連携するスマート家電。しかし、キッチン家電をすべて買い換えるというわけにもいきません。

「ならセンサーを使おう」と考えても、取り付けるセンサーの数を考えるとげんなりしそう……。

Synthetic Sensors Projectでは赤外線センサー、カラーセンサー、磁力計、温度・湿度・気圧計、6軸慣性測定、Wi-Fi、接近検知、アナログマイクなどを1つの端末に乗せることでこの問題を解決。

類似のセンサー類と比べても検出可能な項目が多いことが分かります。ただし、カメラは搭載していません。家や学校、病院やオフィスなど幅広い場所での使用を考えたとき、プライバシーの問題が出てきて「非実用的」という考えによるものです。

基板がむき出し状態の「Synthetic Sensor」には背面にUSB端子があるので、iPhoneやAndroidの充電器でも利用されているUSB-ACアダプターを利用してコンセントに挿します。

これで準備は完了。画面右側に各種センサーの反応が表示されています。

シンクに立った男性が水を流し始めると……

センサーがその動作を検知。

シンクの下に設置された生ゴミ処理機を動かすと、あからさまに加速度計(画面右側の上3つ)に反応が。

さらにミキサー、コーヒーブレンダーなどを動かす男性。ガスコンロを使うと温度センサーが反応しました。

しかし、これではどういったことが原因でセンサーが反応しているのかがわかりません。そこでプロジェクトでは人力登録と機械学習を用いて、センサーへの反応が何によるものか判別できるようにしました。その成果がこんな感じで、水を出せば「蛇口が使われています」とメッセージが出るように。

生ゴミ処理機はカメラからは見えない角度にありますが、ノートPCのメッセージで動作していることがわかります。

離れていると目視しづらいコンロのオン・オフがメッセージで表示されるのは便利。

使用場所はキッチンにとどまりません。洗面所では使っているのが左の蛇口なのか、右の蛇口なのかも判別しています。

工作室ではそれぞれの工作機械の動作音を学習させてあるので、どの機械がいま動いているのかがわかります。

また、ノック音も検出。

「ホワイトボードに何かを書いている」や……

「ホワイトボードを消している」という動作すら検出しました。

さらに進化すれば、ペーパータオルを何枚使ったかということをカウントして……

「残量が少ない」というお知らせを出すこともできます。

水道の使用量をカウントすれば……

みんなで「どれだけ節水できるか」という競争もできます。

電子レンジの場合は、単に「ドアの開閉」だけではなく「使用中」「温め完了」というステータスを知らせることもできます。

その仕組みを図解したものがコレ。ドアが閉まれば「使用可能」で、その次にマイクロ波が出れば「使用中」。温め終わったことを知らせる音が鳴らないうちに開けた場合は「中断」、音が鳴れば「温め完了」というわけです。

さらには複数の家電類が同時に動作してもこの通り。

開発したのはカーネギー・メロン大学Human-Computer Interaction Institute(HCII)のChris Harrison教授とPhDのGierad Laput博士、Yang Zhang博士。プロトタイプ開発後、38種類の異なる端末の動作音などを学習させました。Harrison教授によればこれは「人工知能のようなもの」だそうで、新しい動作があっても、データに基づいて最良の推測が行われて、初期テストでは検出精度は100％近かったとのことです。