機械学習を使って全く新しい音作りを可能にする新概念シンセサイザー「Google NSynth Super」

コンピューターによる機械学習の技術を用いることで、従来とは全く異なる音作りを可能にするシンセサイザー「NSynth Super」の開発をGoogleが進めています。このシンセサイザーは、さまざまな音色が持つ固有の特徴をコンピューターが機械学習で理解し、たとえば「フルート」と「スネアドラム」の特徴を掛け合わせた全く新しい音を生み出すことを可能にしています。

NSynth Super
https://nsynthsuper.withgoogle.com/

Making music using new sounds generated with machine learning
https://www.blog.google/topics/machine-learning/making-music-using-new-sounds-generated-machine-learning/

NSynth Superは、およそ20cm四方ほどの大きさのシンセサイザー。演奏用のキーボードを持たない「音源モジュール」として使う機材になっており、内部に音を生み出すためにデータが格納されています。天面にはタッチセンサー付きのディスプレイが備わっており、指を使って操作することが可能。ディスプレイの四隅には異なる楽器の名前が書かれており、それら4つの楽器の成分を指で指定したバランスで合成することで、新しい音色を作り出すという新概念シンセサイザーとなっています。

以下のムービーでは、実際にどのような音を作ることができるのかがデモ演奏で紹介されています。

Making music with NSynth Super - YouTube


「ポン、ポン」とピアノのような、ギターのような、ベースのような不思議な音色が聞こえ、しかもその音色はさまざまに変化。「機械学習によって作り出された新しい音で音楽を作る」というキャプションが示すとおり、この音はNSynth Superによって、全く新しい技術で4つの楽器をベースにした音をゼロから生み出しています。

キーボードを持たないNSynth Superは、外部のキーボードからMIDIケーブルで入力された演奏の情報をもとに、リアルタイムで音色を生成して音を発します。

ムービーではここでリズムマシンをスタート。このリズムトラックに合わせてNSynth Superの音による演奏が行われます。

NSynth Superは、16種類の音色をコンピューターに機械学習させ、それぞれの特徴をデータ化。演奏の際には、その中から4つの楽器を選んで合成させることが可能とのこと。ただし、単純に4つの音をミキサーで混ぜるのではなく、感覚的には「音色を要素に分解して分子レベルで結合させて新しい音を作り出す」といった感じで全く新しい音をリアルタイムに作り出しているとのこと。

本体の四隅にある大きいダイヤルで、それぞれの音色を割り当て可能。

そして、指を使って4つの楽器のバランスを調整します。

また、生成された音をアナログシンセのように変化させることも可能。

ディスプレイ下の小さなダイヤルは、音色を特徴付ける「アタック」「ディケイ」「サスティン」「リリース」の4つのパラメーター「ADSR」を変化させるためのもの。

また、音の波形で使用する部分を調節する「POS」を操作することも可能。

アナログシンセのフィルターによる変化とは異なり、各メーカーが送り出しているサウンドジェネレーターともまた異なる音の変化を聴かせるデモ演奏となっていました。

NSynth Superは、機械学習で音楽や芸術を作り出すというGoogleの研究プロジェクト「Magenta」の中で開発が続けられているもの。開発チームを率いるDouglas Eck氏がその目指すところを語っています。

Making music using new sounds generated with machine learning - YouTube


街中の小さな楽器店

シンセサイザーを演奏しているこの人物が、Magentaを率いてNSynth Superの開発を行っているEck氏です。

Magentaは、機械学習を芸術の分野でどのようにいかすことができるのかを研究するプロジェクト。

機械学習とは「明示的にプログラムしなくても学習する能力をコンピュータに与える研究分野」とする、機械学習の父アーサー・サミュエルの言葉が紹介されています。

Magentaでは、人間の脳を再現するニューラルネットワークを用いて「音」を作り出します。

ここで作られる音は、既存の音を再現するのではなく、「新しい楽器を作り出す」というレベルの「音」のこと。

チームがまず取り組んだのが、ニューラルネットワークを用いたシンセサイザーアルゴリズム「NSynth」の開発でした。

NSynthはさまざまな音色のコアとなる要素を学習することで、複数の音色を合体させることが可能。

そのようにして作り出された音色は、普通の世界では実現があり得ないものにもなり得ます。

学習の元となる音はごくシンプルなものですが……

それを処理して学習するためには極めて高度な技術が必要とされます。しかし、多くのミュージシャンにとってその技術はレベルが高すぎるもの。

そのギャップを埋めるために、技術を使いやすい状態に落とし込む試みが進められました。

プロトタイプの作成や内部の設計が行われ……

誕生したのが、「NSynth Super」というわけです。

これまでになかった音作りは、ミュージシャンの想像性を高めてくれそう。

たとえば、フルートの音色と……

スネアドラムの音を掛け合わせます。フルートの音とスネアの音は全く性質が違うため、普通に考えると合体させることは無理だと思われますが……

作り出された音色は、少しひずんだエレキギターのような音。全く新しい楽器「フニュア」の音は、フルートのような雰囲気を残しつつ、スネアドラムのはじけるような特色をも兼ね備えています。

音楽の進化の歴史は、機材の進化の歴史と一体であるといえます。さまざまな弦楽器や打楽器、鍵盤楽器が発明され、近年になると電子機器によって全く新しい音の作り方が誕生し、それに伴って次々と新しい音色が誕生してきました。そしていま、完全に新しい概念をもとに音を作り出す「NSynth Super」が、また新たな楽器の歴史の1ページを作ろうとしているのかもしれません。