人工知能で静止画から動く映像を生成することに成功、ただし結果はちょっとグロい部分もアリ

マサチューセッツ工科大学(MIT)の研究チームが、コンピューターを使った機械学習をもとにしたアルゴリズムを用いることで、静止画から動画を生成する人工知能の開発を行っています。実際に生成された動画が公開されているのですが、その結果はなかなか「興味深い」ものとなっています。

Generating Videos with Scene Dynamics - MIT
http://www.cs.columbia.edu/~vondrick/tinyvideo/

Machine-Learning Algorithm Generates Videos From Stills | Popular Science
http://www.popsci.com/this-ai-generates-video-from-stills

MITではまず、「ビーチ」や「赤ん坊」「ゴルフスイング」などのテーマごとの動画をコンピューターに学習させて、テーマごとによく表れる動きのパターンを学習させます。そして次に静止画を読み込ませて、テーマに応じた動画を生成させています。

例えば「ビーチ」をテーマに生成した動画がコレ。最初が静止画だったとは思えないほど自然な波の動画になっています。


なお記事作成時点では、このような小さなサイズのGIFアニメーションを生成するのが限界とのことです。

夕日が沈むビーチの様子もなかなかの再現度。


しかし中には、人が妙にヌルッとした動きになっているものや……


もはや何を表現しているのか理解しがたいものも。


「ゴルフ」の場合だとこんな感じ。これからパターを打つところ、といった雰囲気が感じられる動画がある一方で……


謎の固まりがうごめいているものなども。


「電車の駅」だと、このように駅に入ってくる列車の雰囲気が出ているものから……


なぜか列車が霧散してしまうものがあったりも。


思わず「惜しい！」と声に出してしまいそうなものもあります。


画像を処理する際には、まずテーマにあった「人」や「線路」などを画像から認識しているとのこと。人工知能の分野で研究が進められる画像認識の技術を使って状況を理解させるところから処理は始まっているようです。

このような処理が行われた動画は、テーマごとに分かれた以下のリンクから確認することができます。ただし、各ページをロードすると約100MB程度の通信量となるので、閲覧の際にはWi-Fiに接続するなどの注意が必要です。

・Beach

・Golf

・Train

・Hospital

・Unfiltered