3つの鍵盤を持つ不思議なピアノをドッペルゲンガーが次々に演奏していくように見える「Peace for Triple Piano」はどのように撮影されたのか？

360度天球カメラで撮影した映像をシームレスに繋ぎ合わせ、3つの鍵盤を持つ不思議なピアノをドッペルゲンガーが次々に演奏していくように見えるムービー「Peace for Triple Piano」が公開されました。同時にメイキングも公開されているのですが、数学者のHenry Segerman氏の協力を得て10週間かけて作成されたという、恐ろしく緻密な作業が明かされています。

Peace for Triple Piano | Vi Hart
http://vihart.com/peace-for-triple-piano/

まず、1つの空間に存在する3人の同じ女性がピアノを演奏していく様子は以下から。ムービーは360度映像になっており、ドラッグすることで好きな場所を見ることができます。

Peace for Triple Piano - YouTube

天球カメラで撮影されたかのような360度の映像がスタート。女性がピアノを弾きながら歌を歌っています。

ワンフレーズ弾き終わると、女性は席を立ち、移動。

そして、ピアノ越しに男性から楽譜を受け取ります。

そして、背中合わせに2つの鍵盤を持つようなピアノを弾き出しました。部屋の奥の柱には、なぜかドッペルゲンガーのように同じ女性が立っています。

先ほどピアノを弾いていた女性が置いていった楽譜を、柱にいた女性が手に取り……

今度は自分でピアノを演奏……という様子がループします。

YouTubeで公開されている映像はドラッグすることで360度、好きな場所を見ることができるのですが、「複数の鍵盤を持つかのような不思議なピアノを、なぜか3人存在する同じ女性が弾いていく」という謎の多い仕上がりになっています。女性がピアノを同時に弾くシーンもあるのですが、手の動きはバラバラであり、別のフレーズを演奏していることがわかります。

このムービーがどのように作られているのか？というのは、以下のムービーで公開されています。

The Making of "Peace for Triple Piano" - YouTube

撮影に使われたのは全天球カメラRICOH THETA V。このカメラで撮影された映像を水平に展開すると以下のような感じになるのですが……

これを天球に戻して……

天井方向から展開するとこんな感じになります。ちょうどピアノの鍵盤の上あたりにカメラが置かれていた様子。

部屋の様子はこんな感じ。ピアノは1台しかありません。

この映像を3つに複製してくっつけると、「Peace for Triple Piano」で写し出されていたような世界になるわけです。

最初のように水平に展開するとこんな感じに。

このムービーは「A・B・Cという3つのフレーズから構成されるパート3つ」で作られており、構造自体はシンプル。

以下がムービーの構造を説明した図。縦軸が時間、横軸が空間を示しており、A・B・Cと書かれた写真が並んでいます。この時、縦列を見ると、時間の進行と共にA・B・Cというフレーズが進んでおり、横列を見ると3つのパートで同じフレーズを弾く空間を写し出していることがわかります。

ここで、α・β・γと名付けられた縦列を１コマずつずらすと……

120度ずつに分けられた3つのパートが、それぞれ別のフレーズを引く空間を写し出します。

コマをずらす前の状態を360度で見てみるとこんな感じ。同じシーンを3つコピーしてくっつけただけの状態なので、完成ムービーのように1人の人が同じ場所に3人いるようには見えません。あくまで「120度ずつ3分割された360度映像」になります。

しかし、コマをズラし、A・B・Cパートが同時に存在するようにくっつけると……

360度映像をぐるぐる回転させることで、別のシーンが見られるようになるわけです。360度のうち120度の中では女性がピアノを弾き……

また別の120度では女性のピアノに合わせて男性がトライアングルを鳴らす、というように。このようにして、時間と空間の両方をループさせていったとのこと。

ここで問題となってくるのが、3つのパートの映像のつなぎ目。それぞれのコマがどのような構図になっているのかを示してみると……

まずコマの中心にピアノがあります。茶色いペンで示されました。

ピンクの線で書かれたのは譜面台。ピアノの左側にあります。

そして右端に書かれた緑の線はピアノのヒンジを示すもの。

Aシーンだけを切り取って見てみます。

αでピアノからヒンジまで女性が歩き始めると……

βでは同じことが20秒遅れで発生します。

同様に、βの20秒後にγで同じシーンが再生されます。

一方、男性は別の方向に歩きだし、ピアノ越しに楽譜を女性に渡すことになります。

つまり、α・Aで男性が手渡す楽譜を、β・Cの女性が受け取らなければならないとうこと。

1つ1つのシーンにおける楽譜の動きを糸で繋げていくとこんな感じ。女性が楽譜を持ち、男性に手渡します。

さらに男性から、ピアノ越しに女性の手に渡り……

譜面台に楽譜が置かれるわけです。ムービーだと、120度ほど移動した女性が右から楽譜を取っているように見えますが、実際には女性はピアノの周りをぐるりと360度まわっています。

このような編集作業はソフトウェアで行われましたが……

問題は、人物の動く方向や場所によって、全体としてのループを作成することができないということ。映像と映像のつなぎ目で、途中で人が消えてしまったように見えてしまうのです。

しかし、動く位置を少し変えると、AからBへとつなげることができ……

Cをスキップした状態で最終的に全体のループが完成するのが興味深いところ。

しかし、Cがスキップされてしまうため、男性が画面に映り続けるためには、本来であれば1フレーズであるところを、2フレーズかけてピアノの周りを歩く必要があります。男性が途中でトライアングルを弾いているのはこのため。

この時、動きが遅すぎると画面に2人男性が現れることになります。この微調整は非常に難しいところで、ソフトウェアによる編集が用いられたようです。

その他の点で難しかったのはピアノ自体の動き。3つのパートを組み合わせて1つのシーンを作っているので、ピアノの中の動きが右半分と左半分で別のシーンを反映していしまうのです。

このため、ペダルを使うと問題が生じてしまいます。ペダルを踏むと……

ピアノ内部のダンパーが一斉に弦から離れます

しかし、このムービーの場合、1つのペダルが3台ある(ように見える)ピアノの半分だけに作用してしまうことになります。ここから、ペダルを使うのは諦めなければならかなったとのこと。

このように、数々の課題を1つずつ解決しながらムービーは作成されたとのこと。ムービーが完成するまでにかかった時間は、約10週間だそうです。