2018年10月29日 11時15分ソフトウェア

たった8つのボタンで88鍵のピアノをハイレベルに演奏可能なAI「Piano Genie」

GoogleのAI開発を行うGoogle Brainチームの研究からスタートした「Magenta」が、8つのボタン入力を88鍵のピアノにリアルタイムでマッピングするインテリジェントコントローラー「Piano Genie」が開発しています。

Piano Genie: An Intelligent Musical Interface
https://magenta.tensorflow.org/pianogenie

実際に「Piano Genie」でピアノを演奏する様子は以下のムービーで見ることができます。入力しているボタンは8つしかなく、ランダムに押しているようにしか見えないのですが、そうは思えないほど流麗な演奏を披露しています。

Piano Genie Improvisation #1 - YouTube

「Magenta」は、アートと音楽を創造する過程で機械学習の役割を探る研究プロジェクト。これまでにも、全く新しい音作りを可能にする新概念シンセサイザー「Google NSynth Super」の開発にも関わっています。

Magentaによる「Piano Genie」は、ピアノのMIDIシーケンスを8つのボタンに割り当てる「双方向LSTMエンコーダー」と、ボタンの入力を実際のピアノに反映させる「単方向LSTMデコーダー」という2つのリカレントニューラルネットワークで構成されています。Magentaによると、エンコーダーの訓練用データセットには、国際ピアノ-eコンペティションにおけるおよそ1400曲分の演奏データをMIDIファイルに変換したものを使っているとのこと。

ボタンと音符のマッピングは時間によって変動するので、同じボタンを押してもタイミングにより発せられる音が変化します。エンコーダーの部分は事前にデータセットから訓練を行う時に働き、演奏するときはデコーダのみを使用します。また、割り当てられるピアノの音程は、ボタンの位置と対応しているので、右のボタンを押せばより高い音が、左のボタンを押せばより低い音が出るようになっているそうです。以下の画像は実際のピアノロール(上)と8ボタンのシーケンス出力(下)を示したもので、2つのシーケンスの動きがシンクロしていることがよく分かります。