×
ソフトウェア

たった8つのボタンで88鍵のピアノをハイレベルに演奏可能なAI「Piano Genie」


GoogleのAI開発を行うGoogle Brainチームの研究からスタートした「Magenta」が、8つのボタン入力を88鍵のピアノにリアルタイムでマッピングするインテリジェントコントローラー「Piano Genie」が開発しています。

Piano Genie: An Intelligent Musical Interface
https://magenta.tensorflow.org/pianogenie


実際に「Piano Genie」でピアノを演奏する様子は以下のムービーで見ることができます。入力しているボタンは8つしかなく、ランダムに押しているようにしか見えないのですが、そうは思えないほど流麗な演奏を披露しています。

Piano Genie Improvisation #1 - YouTube


「Magenta」は、アートと音楽を創造する過程で機械学習の役割を探る研究プロジェクト。これまでにも、全く新しい音作りを可能にする新概念シンセサイザー「Google NSynth Super」の開発にも関わっています。

Magentaによる「Piano Genie」は、ピアノのMIDIシーケンスを8つのボタンに割り当てる「双方向LSTMエンコーダー」と、ボタンの入力を実際のピアノに反映させる「単方向LSTMデコーダー」という2つのリカレントニューラルネットワークで構成されています。Magentaによると、エンコーダーの訓練用データセットには、国際ピアノ-eコンペティションにおけるおよそ1400曲分の演奏データをMIDIファイルに変換したものを使っているとのこと。


ボタンと音符のマッピングは時間によって変動するので、同じボタンを押してもタイミングにより発せられる音が変化します。エンコーダーの部分は事前にデータセットから訓練を行う時に働き、演奏するときはデコーダのみを使用します。また、割り当てられるピアノの音程は、ボタンの位置と対応しているので、右のボタンを押せばより高い音が、左のボタンを押せばより低い音が出るようになっているそうです。以下の画像は実際のピアノロール(上)と8ボタンのシーケンス出力(下)を示したもので、2つのシーケンスの動きがシンクロしていることがよく分かります。


「Piano Genie」はウェブブラウザ上で試奏できるデモが公開されています。キーボードの「1」から「8」までがを入力することで対応した鍵盤が演奏されます。

Piano Genie
https://tensorflow.github.io/magenta-demos/piano-genie/


実際にデモ版を演奏してみると以下のムービーのような感じ。キーを入力する度に、下の鍵盤上にボタンに割り当てられた音程が変化していく様子も確認できます。

たった8つのボタンで88鍵のピアノを自由自在に演奏できる「Piano Genie」デモを試してみた - YouTube

・関連記事
機械学習を使って全く新しい音作りを可能にする新概念シンセサイザー「Google NSynth Super」 - GIGAZINE

インストール不要・誰でも無料で打ち込み音楽をブラウザ上で簡単に作曲できるGoogle「Song Maker」 - GIGAZINE

レーザー光を操作して楽曲の演奏が可能な「レーザーハープ」を自作する猛者が登場 - GIGAZINE

ギターのような感覚で演奏・音楽作成できて練習にも使えるスマートギター「Jamstik+」を使ってみた - GIGAZINE

段ボール×Nintendo Switchでシンセサイザーを再現したピアノToy-Conの「録音スタジオ」でスプラトゥーンの「シオカラ節」を演奏したムービーが話題に - GIGAZINE

現代のレコーディング現場に欠かせないピッチ補正ソフト「Auto-Tune」を作った数学の天才に迫る - GIGAZINE

in ソフトウェア,   動画, Posted by log1i_yk