サイエンス

指定されたジャンルやアーティストから歌詞入りの楽曲を自動生成するAI「Jukebox」をOpenAIが開発


人工知能を研究する非営利団体OpenAIが、ニューラルネットワークを使って指定されたジャンル・アーティストから歌詞入りの楽曲を生成してくれるAI「Jukebox」を公開しました。

Jukebox
https://openai.com/blog/jukebox/

OpenAI introduces Jukebox, a new AI model that generates genre-specific music with lyrics - The Verge
https://www.theverge.com/2020/4/30/21243038/openai-jukebox-model-raw-audio-lyrics-ai-generated-copyright

例えば、20世紀を代表するポップ・シンガーであるフランク・シナトラ風の曲を、Jukeboxが生成するとこんな感じ。歌詞については聞き取れる英単語もあるものの、文章としては成立してはいない様子。

OpenAI · Classic Pop, in the style of Frank Sinatra - OpenAI Jukebox


ジャズの女王、エラ・フィッツジェラルド風の曲が以下。
OpenAI · Jazz, in the style of Ella Fitzgerald - OpenAI Jukebox


ジャーマンメタルを代表するレイジ風の曲は、ヘヴィメタル特有のテンポやビートがしっかり再現されています。
OpenAI · Heavy Metal, in the style of Rage - OpenAI Jukebox


サンプル全7131曲は以下でチェックすることが可能です。

Jukebox Sample Explorer
https://jukebox.openai.com/


OpenAiによると、これまでにも機械学習で音楽を生成する試みは存在したものの、解析するには楽曲に含まれるデータの情報量が多すぎることが問題でした。この問題に対処するため、Jukeboxは楽曲から知覚的に無関係な情報を破棄し、生データを畳み込みニューラルネットワークで圧縮します。


この圧縮されたデータから楽曲を生成して……


アップサンプリングして元の音質に戻しているとのこと。


Jukeboxをトレーニングするために、120万曲(このうち英語の曲は60万曲)をデータセットとして使用しているとのこと。また、データセットの曲には、歌詞やアーティスト・アルバム・発表年・ジャンル・キーワードなどのメタデータがクローリングによって関連付けられています。

メタデータなどの各種情報から、Jukeboxはアーティストをジャンルごとに分類しています。以下の図上で近しい位置に置かれたアーティスト同士は、Jukeboxによって「関係性が近い」と分類されています。


Jukeboxの公式ページにある分類表は、アーティストの顔写真にカーソルを合わせると名前が表示されます。一例では、エルトン・ジョンに似たアーティストはジョン・レノンとなっていました。


OpenAIの研究チームは、「Jukeboxは音楽の品質、一貫性、オーディオサンプルの長さ、アーティスト、ジャンル、歌詞を条件付ける能力において一歩前進していますが、人間の作った楽曲とは大きなギャップが存在します」「一例では、Jukeboxが生成した曲は、伝統に沿ったコードパターン、ソロパートなどを含んでいますが、コーラスのリピートなどごく一般的な音楽構造はありません」とコメントし、Jukeboxに限界があることを認めています。

Jukeboxのソースコードなどは、Github上で公開されています。

GitHub - openai/jukebox: Code for "Jukebox: A Generative Model for Music"
https://github.com/openai/jukebox/

この記事のタイトルとURLをコピーする

・関連記事
無料で「ディズニー風ゴッドファーザーのテーマ」などAIに曲の雰囲気を指示して簡単に作曲できる「MuseNet」を使ってみた - GIGAZINE

誰でも深層強化学習のスキルを身に付けて活用できるための教育リソース「Spinning Up」をOpenAIが発表 - GIGAZINE

機械学習を使って全く新しい音作りを可能にする新概念シンセサイザー「Google NSynth Super」 - GIGAZINE

ジャズを自動作曲する人工知能「deepjazz」、AIが作ったジャズはこんな感じ - GIGAZINE

「危険すぎる」と話題の文章生成AI「GPT-2」の最新版がリリース、実際に使えるデモサイトも登場 - GIGAZINE

in サイエンス, Posted by log1k_iy

You can read the machine translated English article here.