Google DeepMindが音楽生成に特化したAIモデル「Lyria」を発表、口ずさむだけでメロディーが生成される

Googleの人工知能関連企業「Google DeepMind」が2023年11月16日、音楽生成に特化したAIモデル「Lyria」と、Lyriaを用いて音楽制作が可能な2つのツールセット「Dream Track」「Music AI Tools」を発表しました。

Transforming the future of music creation - Google DeepMind
https://deepmind.google/discover/blog/transforming-the-future-of-music-creation/

An early look our AI Music experiment - YouTube Blog
https://blog.youtube/inside-youtube/ai-and-music-experiment/

DeepMind and YouTube release Lyria, a gen-AI model for music, and Dream Track to build AI tunes | TechCrunch
https://techcrunch.com/2023/11/16/deepmind-and-youtube-release-lyria-a-gen-ai-model-for-music-and-dream-track-to-build-ai-tunes/

音楽にはビートや音階、ハーモニーなど膨大な量の情報が含まれているため、これまでのAIモデルは長い音のシーケンスを生成することは困難でした。Google DeepMindは「音楽には複数の人間の声や楽器の音色が同時に含まれることが多いため、音声の作成よりもはるかに難易度が高いです」と述べています。

2023年11月16日にGoogle DeepMindが発表したAIモデル「Lyria」は、楽器だけで演奏されたインストゥルメンタルや、ボーカルを含む音楽を高品質で生成することが可能です。また、ユーザーが出力のスタイルやパフォーマンスを詳細にコントロールできるようにすることに優れているとのこと。

Lyriaを活用できるツールセットとしてGoogle DeepMindは「Dream Track」というツールを試験的に発表しました。Dream Trackでは、ユーザーは生成したい音楽のジャンルや雰囲気、トピックを入力し、ボーカルの元となるアーティストを選択するだけで、YouTubeショート用の最大30秒の楽曲を生成してくれます。

ボーカルの元になるアーティストには、歌手のアレックス・ベンジャミン氏やチャーリー・プース氏、T-Pain氏ら9人が参加しています。

以下はDream Trackを用いて生成された楽曲のデモ映像です。この楽曲にはAIが生成したチャーリー・プース氏の声とスタイルが使用されています。

Introducing Dream Track - an experiment on YouTube Shorts - featuring Charlie Puth - YouTube

T-Pain氏の声やスタイルを元に生成された楽曲の映像が以下。

Introducing Dream Track - an experiment on YouTube Shorts - featuring T-Pain - YouTube

Dream Trackは2023年11月16日から一部のクリエイターに向けたテストが行われています。

Google DeepMindはさらに「Music AI Tools」というツールを、Music AI Incubator向けに2023年後半にリリースすることを発表しました。Music AI Toolsでは、楽器を演奏することなく音楽トラックを構築することが可能です。

以下はMusic AI Toolsを利用したデモ映像です。この動画では自らの体だけでドラムを奏でる「ヒューマンビートボックス」から、実際のドラムのような音楽が生成されている様子が紹介されています。

Introducing Music AI Tools - Transforming beatboxing into a drum loop - YouTube

Music AI Toolsを用いて、口ずさんだフレーズをまるでオーケストラが演奏しているように変換した動画が以下。

Introducing Music AI Tool - Transforming singing into an orchestral score - YouTube

以下の動画はMIDIキーボードで演奏したフレーズをコーラス風の音楽に変換した様子です。

Introducing Music AI Tools - Transforming chords from a MIDI keyboard into a realistic vocal choir - YouTube

Music AI Toolsでは、生成される音楽に対してユーザーは「ピアノを用いる」や「リバーブをかける」などさまざまな特徴を付与することが可能です。これらの操作には独自のインターフェースが用います。

また、Google DeepMindはLyriaを用いて生成された音楽に対し、AIが生成したコンテンツであることを示す「SynthID」によるデジタル透かしが入ることを報告しています。Google DeepMindは「SynthIDを用いた透かしを埋め込むことで、ノイズの合成やMP3への圧縮、トラックの速度変更などが行われた場合でもAIによって生成されたコンテンツを識別することが可能になります。なお、この透かしは人間の耳には聞こえず、リスニング体験を損なうことはありません」と述べています。