AIを用いて型破りな音楽を生み出す即興セッション「AI DJ Project」とは？

DJパフォーマンスという即興性の高い芸術を人間とAIの掛け合いで行い、聴衆に新たな音楽体験をもたらそうとするプロジェクトが「AI DJ Project」です。東京大学大学院博士過程で人工知能の研究に携わった徳井直生氏が率いるQosmoにより、これまで2種類のバージョンが開発されています。

AI DJ Project — A dialogue between AI and a human | ART | Qosmo - CULTIVATE THE CHAOS
https://qosmo.jp/projects/ai-dj-human-dj-b2b/

AI DJ Project#2 Ubiquitous Rhythm — A Spontaneous Jam Session with AI | ART | Qosmo - CULTIVATE THE CHAOS
https://qosmo.jp/projects/ai-dj-project2-ubiquitous-rhythm/

2018年、AI DJ Projectの第1弾「A dialogue between AI and a human」が登場しました。これはDJ2人が交代で曲をかけ合う「Back to Back」というスタイルを人間とAIで行うもの。Qosmoが開発したAI DJは人間がかけた曲をその場で聞き、あらかじめ用意された350以上の曲から似たような音楽的トーン・ムード・テクスチャを持った曲をセレクトして再生するとのことです。パフォーマンスの様子は以下の動画で確認できます。

AI DJ Project - A dialog between human and AI through music from Qosmo / コズモ on Vimeo


また、AI DJはディープラーニングを用いたモーショントラッキング技術を活用して聴衆が「どれだけ踊っているのか」を数値化し、場の雰囲気に合わせた選曲を行っているそう。ただ、徳井氏らが日本や欧米を始めさまざまな場所でパフォーマンスを行ったところ、AI DJは流れに沿った曲を選ぶ時もあれば、突拍子もない曲を選ぶ時もあったとのこと。このような「予測不可能性」がパフォーマンスに緊張感をもたらし、人間のDJにインスピレーションを与えるものだとQosmoは解説しています。

Back to Backにおいては、相手の曲から自分の曲へとスムーズにつなげるために、曲のビートやテンポを合わせる技術も重要視されます。AI DJはコンピューター制御のカスタムDJターンテーブルとロボットフィンガーを用いて物理的にパフォーマンスを行っているのですが、曲のスピード(テンポ)を合わせることは比較的簡単に行える一方で、ビートのフェーズを合わせることは非常に難しいとのこと。Qosmoはビート合わせの精度向上を行うとしていました。

そして2021年、今度はAI DJがその場で作曲を行い、人間と掛け合いを行っていくという「Ubiquitous Rhythm」が登場しました。これは、曲のリズムをランダムに生み出す「リズム生成モデル」と、大量のデータを基にドラムのパターンをベースラインに「翻訳」する「リズム→ベース変換モデル」、そしてメロディーやサウンドエフェクトなどのリズム・ベース以外の部分を選択する「ループ選択モデル」の3つが組み合わさったものです。パフォーマンスの映像は以下から確認できます。

AI DJ Project#2 Ubiquitous Rhythm—A Spontaneous Jam Session with AI (10min digest) from Qosmo / コズモ on Vimeo


このプロジェクトにおいては、AI DJが作成した曲を人間のDJが聞いてドラムマシンやシンセサイザーの音色を調整し、曲の音量やエフェクトなどをコントロールすることで音楽的な展開を組み立てていくことができるとのこと。また、人間の操作はAI DJが選択するループにも間接的に影響を与え、これにより前もって予測することが不可能かつ同じパフォーマンスが二度と生まれない、意外性に富み、相互性・即興性の高いパフォーマンスを実現したとのことです。

Qosmoは「DJと複数の音楽生成モデルが相互作用することで生まれるグルーブは、人とAIが共生する新しい時代の創造性のかたちを予見するかのようです。結果的にDJはディスク(レコード)ではなく、AIを乗りこなす『AI Jockey』であることを求められました。その先には、おしなべてAI Jockeyたることを求められるであろう、未来のクリエイターの姿が垣間見えたように思います」と記しました。