初音ミクとプロ歌手の歌唱を混ぜ合わせた「v.morish」のデモムービーがすごい

高品質音声分析変換合成方式「STRAIGHT」により得られたパラメタを「歌い回し」「声質」に分離、2歌手の歌声についてそれぞれの独立した比率でリアルタイム混合することで再生中でもマウスによりモーフィング率を変えることができるというのがこの「v.morish」です。開発したのは関西学院大学理工学部 情報科学科 片寄晴弘研究室の森勢将雅研究員。

実際にどのような歌声になるのか、実際のムービーを見て、歌声を聞いてみると非常に良く理解できます。既存のさまざまな類似技術とはまた違う次元のものだという事が理解できるのではないかと。

プロ歌手と初音ミクの歌声を混ぜ合わせて作り出した歌声の再生は以下から。
デモムービーその1（WMV形式：3.77MB、ニコニコ動画にもなぜかある）

※2008/09/20 15:05現在、関西学院大学のサーバにつながりにくくなっています。

説明によると「プロ歌手と初音ミクの歌声を混ぜ合わせて作り出した歌声です．左図の左下が人間(再生1回目)，右上が初音ミクで合成した歌声(再生2回目)です． 3回目は初音ミクの声質のまま，人間の歌い回しへ， 4回目は初音ミクから声質，歌い回しの順で段階的に人間へ変化する様子を示しています」だそうです。

また、「一般的に認知されている楽曲で，プロ歌手と初音ミクとの歌唱を混ぜ合わせた音源」というMP3ファイルも公開されています。

pori.mp3（MP3形式：241KB）

最終的には自分で歌った声や初音ミクの声を使って「～～風な歌い方に」とか「声質をワイルドに」というボタンを押すだけで歌唱特徴が転写できるというようなものを想定しているようで、「STRAIGHT」に基づく音声分析・合成を容易に行うことができるC言語ライブラリを2008年中に配布する予定。

さらに、1名の歌手が歌いわけた「喜」「怒」「哀」の感情を，自由な比率で混ぜ合わせることができる「e.morish」というのもデモムービーが以下のページで公開されています。これもすごい。

歌声を混ぜるインタフェース

感じとしては、以下の「感情音声モーフィング」デモFlash（日本科学未来館の特別企画展で展示されたもの）を使うと理解しやすいです。特に「アイ ラブ ユー」はわかりやすい。

声優の発声したオリジナルな音声が三角形の各頂点にそれぞれ配置されており、この三角形の辺の上や中心を通る線分の上をクリックすると、クリックした位置に応じた配分で感情が混合され、合成された音声が聞こえるという仕組み。

なお、初音ミクに限りませんが、合成音声をもっと人間らしく調教する技術としては、通称「ぼかりす」として有名な「VocaListener」というユーザー歌唱を真似る歌声合成パラメータを自動推定するシステムがあります。

VocaListener (in Japanese)

また、実際にボーカルのイントネーション（音程や抑揚）を調整することができるソフトとしては、既に「Auto-Tune」というかなり有名なソフトがあります。

Antares Auto-Tune Evo 製品情報

CDなどで聞くとほぼ完璧に音程や抑揚がとれている場合があり、本人の歌唱力を超越しているケースがありますが、そういうものは際限なく歌わせて「奇跡の瞬間をレコーディング」したのではなく、こういったソフトを使って修正している場合がほとんどだそうです。わかりやすく言うと、グラビア写真用にPhotoshopで加工しているような感じ。

ちなみに、ゲーム開発者向けカンファレンス「CEDEC2008」で9月11日に行われたCEDECラボ「音楽情報処理技術とエンタテインメント」というセッションにおいて、「この音声合成技術を使って、オリコンチャート上位に登場してくるような曲はできますか」という質問に対し、関西学院大学理工学部の片寄晴弘教授は「運がよければ1～2年で出てくる」と答えています。

というわけで、既存の著作権でがんじがらめの利権構造に大打撃を与えるようなものが近い将来、これらの技術の延長線上に出現するのかもしれません。