音楽を視覚化する「生きた絵画」をAIと人間が協力して作成

機械学習の研究者であるXander Steenbrugge氏が、人間とAIがコラボレーションすることで「新しいオーディオビジュアル体験」を作り出しました。音楽に合わせてAIが作っていくさまざまな絵画は、芸術家が描いたような美しいものや悪夢的なものが入り交じり、思わず見入ってしまうほどに圧巻です。

AIを作るにあたって、まずSteenbrugge氏はAIが描く絵画のテーマ・視覚スタイルを決める絵画のデータセットを集め、それをアルゴリズムに学習させたとのこと。この視覚スタイルにあわせ、AIは数日かけて絵画を模した新しい映像を作成。さらに音楽をつけ、その音楽からも情報を取りこめるようにしました。

このようにして完成したのが、音楽からユニークな絵画を次々に作り出していくAI。これをSteenbrugge氏がアレンジし、合成することで、最終的な作品を作り上げました。AIと人間による「音楽を視覚化したムービー」は、以下から確認可能です。

When the painting comes to life... - YouTube

まず現れたのは、青い山の絵画。

音楽にあわせ、これがじわじわと変化していきます。最初はのっぺりとした絵画でしたが、徐々に筆跡のわかるスタイルに変化し……

徐々に何かが浮かび上がってきます。

人間ですが、複数の顔が重なったような、不思議な印象です。

くっきりとした人物画になり……

ヤン・ファン・エイクが描いた「アルノルフィーニ夫妻像」のイタリア人商人のような印象に。

絵画は音楽のリズムに合わせて、時にゆっくり、時に激しく変化していきます。

肖像画とも彫刻とも取れる不思議な何か。

建築物のようなもの。

風景画に変化し……

ミレーの絵画に描かれていそうな田園風景。

輪郭やラインは筆跡を継ぎつつ色合いが変わっていきます。

脈絡がないように思える展開はAIならでは。

抽象画のような感じ。

不穏な雰囲気をただよわせ……

再び印象派を思わせる風景画に。

かと思えば音楽によってはキュビズムのような絵画が描かれました。

さまざまな美術の要素を混ぜ込んだような謎の絵画も作られています。