初音ミクの革新的な3DCG「14モデル」制作の裏側がわかるドキュメンタリー・ムービーが公開中

音声合成エンジンVOCALOIDの「初音ミク」を製造販売しているクリプトン・フューチャー・メディアが、ミュージシャンと共演を果たすために「14(イチヨン)モデル」という独自の3DCGモデルの初音ミクを開発しました。そんな初音ミク「14モデル」制作の裏側ががわかるドキュメンタリームービーの第1弾「テクノロジー編」が初音ミクチャンネルで公開されています。

クリプトン｜クリプトン開発の新技術で撮影！「BUMP OF CHICKEN×初音ミク」PVで共演
http://www.crypton.co.jp/cfm/news/2014/03/ray

【Hatsune Miku】初音ミク ドキュメンタリー テクノロジー編 / 39ch Documentary: Technology 【初音ミク】 - YouTube
)

初音ミクはBUMP OF CHICKENとのコラボレーションによって、CG合成ではなく世界で初めてミュージシャンとの「リアルタイム共演」を果たしています。

リアルタイム共演を可能にするために、クリプトンが開発した独自の3DCGモデルが初音ミク「14モデル」とのこと。

スクリーンの素材・センサー制御・リアルタイムアニメーション技術などの仕組みを新たに開発しています。

初音ミクを操作するコントローラーはDTMの機材が使用されています。

歌って踊る初音ミクをふわっと霧散させたり……

本来音を奏でるキーボードで初音ミクの立ち位置をスライドさせたりしています。

ピッチベンドを操作して動きを滑らかすることも可能。

コントローラーによってリアルタイムで初音ミクを動かすことができ……

シーケンサーソフトに打ち込んでおけば、指定した動作を再生できるとのこと。

スクリーン素材や撮影するカメラに取り付けたセンサーとの同期もコントローラーで行っています。

また、バックアップが多重化され、MIDIとDMX信号のプロトコルを同じマスターからパラレル送信しているのも初音ミク「14モデル」の特徴の1つ。

初音ミク「14モデル」で使われているセンサーは、イチから制作されたわけではなく……

Oculus Riftのように頭に装着して、人間の動きに合わせて使用するために並行して作られていたもの。

「14モデル」では円筒形のスクリーンを回転して撮影する仕組みだったため、センサーをWi-Fiで無線化して使用することに。

スクリーンの周囲にレールを引き、カメラドリーに撮影用のカメラと、センサーを持った人が乗って角度情報を調整。その結果、カメラの正しい位置情報が送信されることでCGの原点位置がリアルタイムで連動するとのこと。

3軸の加速度センサーとジャイロを合わせた6軸センサーが搭載されていますが、ジャイロはスタジオの磁気ノイズに影響して正常に動作しないことから……

人間の手で覆って磁気をガードしているとのこと。

このシステムは2013年に別府で行われた「TRANS CITY FEAT.HATSUNE MIKU」がもととなっています。

本番では360度の全天周映像がドームに映し出されました。

また、大画面のスクリーンでライブが行われている初音ミクですが、VOCALOIDという音楽コンテンツであることから、映像信号ではなく音をマスターにしているとのことです。

今回使用されているスクリーン「イーハトーヴ仕様スクリーン円筒版」はクリプトンが独自開発したもの。

2012年の冨田勲さんの「イーハトーヴ交響曲」のオーケストラのバックで使われていたものの進化形となっています。

スクリーンを下から見るとこんな感じ。

カーブに合わせてゆがみ補正や色の調整がなされています。

最終的には、なんとスクリーンなしで初音ミクの投影を目指しているとのこと。

そのためには空気中の粒子に反応する光源を作り出す必要がありますが、理論はいろいろと出てきているとのこと。遠くない未来に初音ミクが実在するかのように投影することが可能になるのかもしれません。

なお、初音ミク「14モデル」とBUMP OF CHICKENが「リアルタイム共演」している映像は以下のムービーから見ることができます。

BUMP OF CHICKEN feat. HATSUNE MIKU「ray」 - YouTube
)

初音ミクとハイタッチ。

後ろでダンスする初音ミク。円筒スクリーンに至る所に流れる光の帯。

BUMP OF CHICKENと初音ミクが和声で歌ったりと、斬新なコラボレーションになっていました。