「Kinect」でリアルタイムにぬいぐるみや映写機を操るインタラクティブアート

マイクロソフトが発売しているジェスチャー認識用センサー「Kinect」をアートに利用した作品が文化庁メディア芸術祭に展示されていたので、実際に動いている様子を取材してきました。

◆「Monkey Business」Ralph Kistler、Jan Sieber作

新人賞に選ばれた「Monkey Business」は、前に立っている人の動きをセンサーで読み込んでサーボモーターを内蔵した猿のぬいぐるみが再現する、というアート作品。

こんな感じで壁からつり下げられています。

ピッタリと壁面についている訳ではなく、背中側には少し隙間があります。強いライトが当てられているので背後にクッキリと影が浮かび上がり、コミカルなぬいぐるみの動きの裏に潜む不吉な存在を想起させる演出となっています。

このように結構しっかりとした鉄の棒で固定されています。

デモンストレーションを行なう作者のRalph Kistler氏はドイツ生まれ、スペイン在住のアーティストで風刺的な作品を得意としています。

Ralph氏の動きをそのまま再現する猿のぬいぐるみ。

こんな感じでほぼリアルタイムに同じ動きをします。

上の写真と比べて微妙に手の角度が変わると、ぬいぐるみもちゃんとそれを再現していることがわかります。

横顔はこんな感じ。

動いているところを正面から見ると以下のようになっています。

ぬいぐるみの上に設置されたkinectで正面に立った人の動きを読み取ります。

接続先は「MacBook Air」。

Kinectとの接続はUSBケーブル。

こんな感じで人の動きを認識。

実際に動いている様子は以下のムービーで確認できます。

Kinectで猿のぬいぐるみを動かす「Monkey Business」の動作ムービー - YouTube

◆「Soak」Yunsil Heo、Hyunwoo Bang作

「Soak」は「染織物をバーチャルに再現した」という作品。Kinectが捉えた手の動きに応じて、真っ白な布がカラフルに染まるというインタラクティブアートで、審査委員会推薦作品に選ばれています。

人が触れる前はただのテーブルっぽい見た目。

下にはプロジェクターとKinectが設置されています。

表面は弾力性のある布でできており、触れるとインクの染みが広がるように色がついていきます。

この染みは下のプロジェクターから投影されているものなので、リアルタイムで手の動きに反応しつつ様々な色が浮かび上がります。

白い場所を押すと……。

緑色の染みが広がります。

実際に動作しているムービーは以下で見られます。

Kinectを使ったアート作品「Soak」の動作ムービー - YouTube

テクノロジーとアートの融合を自分の体で実際に体験できる展示は2012年3月4日まで「国立新美術館」で行なわれているので、興味のある人は会場に足を運んでみて下さい。

© Ralph Kistler amd Jan Sieber
© Yunsil Heo and Hyunwoo Bang