音楽を視覚化する「生きた絵画」をAIと人間が協力して作成
![](https://i.gzn.jp/img/2019/11/01/living-painting-neural-synesthesia/00_m.jpg)
機械学習の研究者であるXander Steenbrugge氏が、人間とAIがコラボレーションすることで「新しいオーディオビジュアル体験」を作り出しました。音楽に合わせてAIが作っていくさまざまな絵画は、芸術家が描いたような美しいものや悪夢的なものが入り交じり、思わず見入ってしまうほどに圧巻です。
Emtremely excited to finally share a side-project I've been working on for the past few months: Neural Synesthesia, visualizing music with #GANs!
— Xander Steenbrugge (@xsteenbrugge) 2019年10月28日
So many ideas left to explore, this journey is just getting started..
More HD renders on my new YT channel:https://t.co/kKoXEuXOi3 pic.twitter.com/jkRGflSfjg
AIを作るにあたって、まずSteenbrugge氏はAIが描く絵画のテーマ・視覚スタイルを決める絵画のデータセットを集め、それをアルゴリズムに学習させたとのこと。この視覚スタイルにあわせ、AIは数日かけて絵画を模した新しい映像を作成。さらに音楽をつけ、その音楽からも情報を取りこめるようにしました。
このようにして完成したのが、音楽からユニークな絵画を次々に作り出していくAI。これをSteenbrugge氏がアレンジし、合成することで、最終的な作品を作り上げました。AIと人間による「音楽を視覚化したムービー」は、以下から確認可能です。
When the painting comes to life... - YouTube
![](https://img.youtube.com/vi/85l961MmY8Y/maxresdefault.jpg)
まず現れたのは、青い山の絵画。
![](https://i.gzn.jp/img/2019/11/01/living-painting-neural-synesthesia/001_m.jpg)
音楽にあわせ、これがじわじわと変化していきます。最初はのっぺりとした絵画でしたが、徐々に筆跡のわかるスタイルに変化し……
![](https://i.gzn.jp/img/2019/11/01/living-painting-neural-synesthesia/003_m.jpg)
徐々に何かが浮かび上がってきます。
![](https://i.gzn.jp/img/2019/11/01/living-painting-neural-synesthesia/006_m.jpg)
人間ですが、複数の顔が重なったような、不思議な印象です。
![](https://i.gzn.jp/img/2019/11/01/living-painting-neural-synesthesia/008_m.jpg)
くっきりとした人物画になり……
![](https://i.gzn.jp/img/2019/11/01/living-painting-neural-synesthesia/012_m.jpg)
ヤン・ファン・エイクが描いた「アルノルフィーニ夫妻像」のイタリア人商人のような印象に。
![](https://i.gzn.jp/img/2019/11/01/living-painting-neural-synesthesia/015_m.jpg)
絵画は音楽のリズムに合わせて、時にゆっくり、時に激しく変化していきます。
![](https://i.gzn.jp/img/2019/11/01/living-painting-neural-synesthesia/016_m.jpg)
肖像画とも彫刻とも取れる不思議な何か。
![](https://i.gzn.jp/img/2019/11/01/living-painting-neural-synesthesia/019_m.jpg)
建築物のようなもの。
![](https://i.gzn.jp/img/2019/11/01/living-painting-neural-synesthesia/021_m.jpg)
風景画に変化し……
![](https://i.gzn.jp/img/2019/11/01/living-painting-neural-synesthesia/023_m.jpg)
ミレーの絵画に描かれていそうな田園風景。
![](https://i.gzn.jp/img/2019/11/01/living-painting-neural-synesthesia/027_m.jpg)
輪郭やラインは筆跡を継ぎつつ色合いが変わっていきます。
![](https://i.gzn.jp/img/2019/11/01/living-painting-neural-synesthesia/032_m.jpg)
![](https://i.gzn.jp/img/2019/11/01/living-painting-neural-synesthesia/035_m.jpg)
脈絡がないように思える展開はAIならでは。
![](https://i.gzn.jp/img/2019/11/01/living-painting-neural-synesthesia/037_m.jpg)
抽象画のような感じ。
![](https://i.gzn.jp/img/2019/11/01/living-painting-neural-synesthesia/040_m.jpg)
不穏な雰囲気をただよわせ……
![](https://i.gzn.jp/img/2019/11/01/living-painting-neural-synesthesia/042_m.jpg)
再び印象派を思わせる風景画に。
![](https://i.gzn.jp/img/2019/11/01/living-painting-neural-synesthesia/045_m.jpg)
かと思えば音楽によってはキュビズムのような絵画が描かれました。
![](https://i.gzn.jp/img/2019/11/01/living-painting-neural-synesthesia/072_m.jpg)
さまざまな美術の要素を混ぜ込んだような謎の絵画も作られています。
![](https://i.gzn.jp/img/2019/11/01/living-painting-neural-synesthesia/086_m.jpg)
・関連記事
ゴッホの絵をコンピュータに描かせるとどうなるか? - GIGAZINE
コンピューターはアルゴリズムで「クリエイティブな芸術作品」を見分けて格付けできるのか? - GIGAZINE
メトロポリタン美術館が歴史的な絵画を復活させる手順をYouTubeで公開中 - GIGAZINE
科学は私たちに「美」とは何かを説明できるのか? - GIGAZINE
人間のキャッチコピーをついにAIが凌駕、JPモルガンがAIキャッチコピーを採用することに - GIGAZINE
・関連コンテンツ
in ソフトウェア, 動画, アート, Posted by darkhorse_log
You can read the machine translated English article Created to visualize the music a 'living….