ピアノ演奏の続きをAIで自動生成できるアプリ「RollTab」が登場

人間が演奏したピアノ楽曲の続きをAIで自動生成できるiPhoneアプリ「RollTab」が登場しました。RollTabの開発者であるサイモン・エドワードソン氏がアプリや独自AIモデルの開発プロセスについて解説しています。

Training a 125M-parameter Model to Autocomplete Piano - SimEdw's Blog
https://simedw.com/2026/08/20/midi-autocomplete/

RollTabはiPhone/iPad向けに無料公開されています。以下のページからインストールすることができます。

RollTab App - App Store
https://apps.apple.com/gb/app/rolltab/id6799679058

RollTabを使用するには、まずMIDIキーボードをスマートフォンに接続。

演奏を開始すると、スマートフォンの画面上に演奏した内容が記録されます。

そして演奏をやめると、記録した短いメロディーからAIが自動的に続きを生成します。エドワードソン氏が公開したデモでは、演奏をやめてから続きが生成されるまで、2秒もかかっていません。

エドワードソン氏のブログでは、「ポケットモンスター赤・緑」の「マサラタウン」のBGMや、「ファイナルファンタジーVI」の「ティナのテーマ」、「エリーゼのために」などを入力して続きをAIが生成したサンプルを聞くことができます。

エドワードソン氏は1億2500万個のパラメータを持つTransformerベースのAIモデルを独自にトレーニングし、RollTabを作り上げました。このシステムが特徴的なのは、普通の音声生成AIとは異なり、MIDIファイルを扱っている点にあります。

MIDIファイルは、MP3などの他のオーディオフォーマットとは大きく異なり、「録音された音を保存するのではなく、一連のイベントとして音楽を保存する」という特徴があります。例えば、「特定の音高と速度で鍵盤が押された」「鍵盤が離された」「サスティンペダルの状態が変化する」「楽器を変更した」といった情報が、音ではなくイベントとして保存されます。エドワードソン氏のプロジェクトではピアノ演奏に焦点を当てているため、ピアノのような素材を主に残し、それ以外の素材は削除または縮小したそうです。

エドワードソン氏によると、これらのMIDIファイルの特徴に基づいてTransformerモデルをトレーニングするには、まずMIDIイベントをモデルが読み取って予測できる離散的なシーケンスに変換する必要があったとのこと。MIDIのイベントをAIが扱える「トークン」に変換するため、「NOTE_ON」「NOTE_OFF」「TIME_SHIFT」といったイベントを1つずつトークンにする方式や、音符に「音程・音量・長さ」を持たせる方式も試しましたが、AIが演奏中の音を管理しきれなくなったり、処理速度が低下したり入力できる演奏の長さも制限されたりといった問題があったとエドワードソン氏は語っています。

そこで最終的に採用されたのが、「NOTE(pitch, delta_onset, duration, velocity)」という表現方法です。この方式では、例えば「C4」を鳴らした後、24ステップ後に「D4」を鳴らすというように記述します。音符の属性を生成するために4回の変換処理を行っていた方式の代わりに、この変換方法では一度に1音符ずつ音楽を進めるため、iPhone端末上でも大型モデルが毎秒約108音符の処理速度を実現し、人間がライブ演奏で必要とする速度をはるかに上回ることに成功しています。

また、ピアノのサスティンペダルを踏み続けると、踏んでいる間だけ音の響きを長く伸ばすことができます。このサスティンペダルの操作をイベントとして追加すると実装が複雑になるため、「音符の長さ」に組み込むことで、モデルを「音高」「開始」「持続時間」「速度」を予測するだけに単純化し、比較的小さなモデルでも素早い応答を実現しています。

エドワードソン氏がトレーニングに使ったデータセットは、主にパブリックドメインの古いクラシック音楽から集められ、最終的には数十万件のMIDIファイル、約3億個の音符イベントが収集されました。ただしエドワードソン氏によると、単純にデータを増やすとパフォーマンスが向上するわけではなく、データ量を増やすよりもデータのクリーニングと選択の方が重要であったそうです。

作成したモデルを評価する段階では、最初はエドワードソン氏が生成された演奏を聴いて人力で比較していましたが、時間がかかる上に4音程度の短い入力では音楽的な文脈がほとんどないため、判断が難しかったとのこと。そこでエドワードソン氏はGemini 3.5 Flashを用いて、2つの生成結果を比較して「どちらが入力された演奏の続きをよりよくしているか」を判定させることで、かなり大きな選好データセットを構築できたと話しています。

こうして得られた評価データを使って、「Direct Preference Optimization(DPO)」という追加学習も実施されました。DPOは教師なしトレーニングを正確に制御するために開発された手法で、同じ入力から複数の回答を生成し、その中から「こちらの方が良い」と評価された結果を選び、AIがその回答をより高い確率で生成するように調整します。このDPOが最も大きな効果を発揮し、演奏自動生成モデルがより信頼性の高い曲を生成できるレベルへと向上したそうです。

最終的に、完成したモデルをAppleの「Core ML」にエクスポートし、重みをINT8に量子化することで、iPhone上で完全に動作するアプリ「RollTab」が完成しました。

エドワードソン氏は「これはとても楽しいプロジェクトでした。音楽生成に関する興味深い論文はたくさんありますが、最初は意図的にそれらを深く読み込むことを避けました。他人の研究をただ実装するのではなく、自分で問題に取り組む楽しさを味わいたかったのです。後になって初めて、自分のアプローチを既存の文献と比較しました。私のプロジェクトはまだ完璧とは程遠く、時々生成されたメロディがループしてしまたり、短い入力から一貫した曲を生成するのは難しかったり、そもそも入力する指示の内容が難しかったりと、改善したい点もたくさんあります。例えるなら『GPT-2のピアノ版』といったところです。それでも、ようやくピアノの前に座って、いくつか音を弾いて、そこからどんなものが生まれるのかを見るのが本当に楽しいと思えるようになったのです」と成果を語りました。