指定されたジャンルやアーティストから歌詞入りの楽曲を自動生成するAI「Jukebox」をOpenAIが開発

人工知能を研究する非営利団体OpenAIが、ニューラルネットワークを使って指定されたジャンル・アーティストから歌詞入りの楽曲を生成してくれるAI「Jukebox」を公開しました。

Jukebox
https://openai.com/blog/jukebox/

OpenAI introduces Jukebox, a new AI model that generates genre-specific music with lyrics - The Verge
https://www.theverge.com/2020/4/30/21243038/openai-jukebox-model-raw-audio-lyrics-ai-generated-copyright

例えば、20世紀を代表するポップ・シンガーであるフランク・シナトラ風の曲を、Jukeboxが生成するとこんな感じ。歌詞については聞き取れる英単語もあるものの、文章としては成立してはいない様子。

ジャズの女王、エラ・フィッツジェラルド風の曲が以下。


ジャーマンメタルを代表するレイジ風の曲は、ヘヴィメタル特有のテンポやビートがしっかり再現されています。


サンプル全7131曲は以下でチェックすることが可能です。

Jukebox Sample Explorer
https://jukebox.openai.com/

OpenAiによると、これまでにも機械学習で音楽を生成する試みは存在したものの、解析するには楽曲に含まれるデータの情報量が多すぎることが問題でした。この問題に対処するため、Jukeboxは楽曲から知覚的に無関係な情報を破棄し、生データを畳み込みニューラルネットワークで圧縮します。

この圧縮されたデータから楽曲を生成して……

アップサンプリングして元の音質に戻しているとのこと。

Jukeboxをトレーニングするために、120万曲(このうち英語の曲は60万曲)をデータセットとして使用しているとのこと。また、データセットの曲には、歌詞やアーティスト・アルバム・発表年・ジャンル・キーワードなどのメタデータがクローリングによって関連付けられています。

メタデータなどの各種情報から、Jukeboxはアーティストをジャンルごとに分類しています。以下の図上で近しい位置に置かれたアーティスト同士は、Jukeboxによって「関係性が近い」と分類されています。

Jukeboxの公式ページにある分類表は、アーティストの顔写真にカーソルを合わせると名前が表示されます。一例では、エルトン・ジョンに似たアーティストはジョン・レノンとなっていました。

OpenAIの研究チームは、「Jukeboxは音楽の品質、一貫性、オーディオサンプルの長さ、アーティスト、ジャンル、歌詞を条件付ける能力において一歩前進していますが、人間の作った楽曲とは大きなギャップが存在します」「一例では、Jukeboxが生成した曲は、伝統に沿ったコードパターン、ソロパートなどを含んでいますが、コーラスのリピートなどごく一般的な音楽構造はありません」とコメントし、Jukeboxに限界があることを認めています。

Jukeboxのソースコードなどは、Github上で公開されています。

GitHub - openai/jukebox: Code for "Jukebox: A Generative Model for Music"
https://github.com/openai/jukebox/