人工知能が1枚のクリスマスの写真から歌詞つきの「クリスマスソング」を作成するとこうなる

病気を発見したり、映画の予告編を作成したり、はては宇宙人の探索にまで使われたりする人工知能(AI)技術ですが、アメリカの研究者が開発したAIは1枚の写真から「クリスマス」というイメージを読み取って、クリスマスソングを作ることに成功しています。

Artificial Intelligence Generates Christmas Song From Holiday Image – News Center
https://news.developer.nvidia.com/artificial-intelligence-generates-christmas-song-from-holiday-image/

トロント大学コンピューターサイエンス研究所でAIを研究するラケル・ウルタスン准教授は、NVIDIAの「Tesla K40」GPUとNVIDIAのディープラーニング用ネットワークライブラリ「cuDNN」を使ってディープラーニングのモデルを作り機械学習させることで、AIに画像イメージに合った音楽を作らせることに成功しました。

使われたのはクリスマスツリーとプレゼントが写る写真です。AIはこの画像を読み取るだけでなく、写真が持つ「イメージ」まで見抜いた上で、さらにそのイメージに合った歌詞付きの音楽を作成する、という難度の高い作業を求められました。

100時間かけてオンラインミュージックを使ってニューラルネットワークを鍛えると、AIは1分当たり120ビートのメロディーを作り、その後、和音とドラム音を追加しました。AIが作ったクリスマスソングは、以下のムービーで聴けます。

Neural Story Singing Christmas on Vimeo


AIが作ったクリスマスソングは、落ち着いた音調で寒い冬の季節の中で行われるクリスマスというイベントの暖かさを表現していると言えそうなメロディです。曲の終わり方が唐突すぎるきらいはありますが、写真のイメージを反映させたクリスマスソングとして十分成立するレベルとなっています。

なお、歌詞についてみると「部屋にはたくさんの飾り。クリスマスツリーは花であふれている。きっとこれはクリスマスイブ。あなたがそう言うと願っている。『最高のクリスマスプレゼントは祝福だ』と。あなたに会えて嬉しい。ホールから音楽が聞こえる。おとぎ話。クリスマスツリー。たくさんの、たくさんの花」という、クリスマスらしいものになっています。