AIが自動でプロ並みのムービー編集＆加工をしてくれる「Story Remix」をMicrosoftが発表、3Dを使ったムービーも簡単に作成可能

ディープラーニング＆人工知能(AI)技術を使って、自動でムービーシーンを分析して主人公を識別して、その主人公ごとに最適化されたムービーを自動生成したり、3Dオブジェクトを合成してSFさながらのムービーを簡単に作ったりできる、とんでもない機能を持ったムービー自動生成アプリ「Story Remix」をMicrosoftが発表しました。Story RemixはWindows 10の次期大型アップデートと同時に配布される予定です。

Introducing Story Remix in Windows 10 - YouTube


赤ん坊を抱えたまま、子どもを追いかけるお父さん。

我が子のムービーを撮影しているようです。

ムービー作成アプリ「Story Remix」を起動させ……

撮影したムービーを読み込ませました。

自動でハイライトシーンが作成され、タグ付け＆サムネイル化されます。

2人の子どもの世話をしながらムービーを作っているお父さん。

ムービータイトルを入力したら、「Remix」ボタンをタップ。

フォントが変更されました。

「できたよ！」

完成したムービーは、遠くのお母さんに送る模様。

文字を書き込んで……

母親のアイコンを選択して共有すると……

お母さんの端末にシェアされました。

お母さんは職場にいながら、自宅の出来事をすぐに確認できます。

一方、仕事中のお母さんは、犬がシャワーを浴びる様子を撮影してます。

撮影に使っている端末はiPhone 7 Plus。

iPhone 7 Plusでスローモーションムービーを撮影して、Story Remixに取り込みました。Story RemixではiOSやAndroid端末で撮影したムービーの編集も容易です。

タイトルを入力したり、写真やムービーを並べ替えたり……

さらにはGrooveのBGMをムービーに取り込むことも可能。

作成したムービーは、あっという間にSNSに投稿されました。

Story Remixでは、「Windows 10 Creators Update」で追加された3D機能を取り扱うことも可能。「Remix 3D」や「Paint 3D」などの3Dコンテンツをムービー編集に利用することも可能です。

ダウンロードした3Dコンテンツを編集して利用可能です。

ムービー内に3Dのティラノサウルスを貼り付けると……

映画のようなワンシーンに早変わり。

逃げるように走るシーンを別で撮影して……

3Dティラノサウルスと合成。

背景を選んで、編集画面内にドラッグ＆ドロップすると……

太古の地球でティラノサウルスから逃げ回るというシーンが完成。

クラウド・ネイティブなStory Remixでは、同じムービーを複数人で同時に編集することも可能です。

「できたわ」

完成したムービーを、タブレットを使ってみんなで視聴。

SF映画のような映像を、簡単に作り出せます。

ムービーはSNSで共有可能。ムービーを見た人から「いいね」をゲットしました。

Story Remixは、専門的なムービー編集技術を持つプロだけでなく、誰もが簡単にムービーを作成でき、誰もが持っている「創造性」をかき立てるクリエイターズツールというわけです。

以上のようなムービー編集機能を持つStory Remixですが、本当にすごいのはディープラーニング＆AI機能を使った自動編集＆加工機能です。自動編集機能で作業する様子は、以下のBuild 2017のプレゼンテンションムービーで紹介されています。

Microsoft debuts Windows Story Remix to edit and organize your photos and videos - YouTube


Story Remixではライブラリに登録した写真やムービーを、ディープラーニング技術を活用した画像認識機能によって分析、分類できる機能が搭載されています。

例えば、サッカーのムービーをAIを使って自動編集すると以下の様なことが実現可能です。

ペンツールで画面に書き込んだ「See ya！」という文字をある選手に紐づけすると……

ムービーが再生されると、この選手を追いかけるように文字がついて回ります。

Story Remixではムービーのハイライトシーンを自動で検出できるだけでなく、登場する人物を識別できます。

また、ムービーの登場人物の1人を指定して、その人物を「スター(主役)」にしたムービーを自動編集することも可能。

スターに1人の選手を指定すると、その選手が主人公のムービーに編集されました。

また、BGMをAIに選ばせることも可能。

Grooveで音楽のジャンルを選択すれば、ムービーにぴったりのBGMを選んでくれます。

また、Remix 3Dの豊富な3Dオブジェクトをムービーに組み込むことも可能。

火の玉の3Dオブジェクトを選択して……

ムービー内にドラッグ＆ドロップすると……

火の玉シュートの完成。ムービーを再生すると、ボールは火の玉となってゴールネットに突き刺さりました。

さらに、ゴールネットを揺らしたボールを、爆発させる演出も可能。「爆発」に関する3Dオブジェクトを表示させて……

一つを選択して、先ほどと同様にムービーに放り込むと……

炸裂した火の玉シュートは……

地面で爆発しました。

なお、同じイベントを複数人で撮影した場合、それらのムービーをStory Remixに取りこめば、カメラアングルを変更した別カットシーンを豊富に組み込んだムービーを作ることも可能。カット割りまですべてAIが自動生成してくれるので、プロの編集者が作る手の込んだムービーを、お手軽に作成することも可能だとのこと。

AI機能を使ってムービーを編集できるStory Remixは、無料アプリとしてWindows 10の次期大型アップデート「Fall Creators Update」に搭載される予定です。