Amazonが音声からアニメーションを作成するAI「Create with Alexa」を発表、子どもたちが音声プロンプトを介して物語を作れるように

Stable DiffusionやMidjourneyのような画像生成AIは、プロンプトとして入力した文章に従って画像を自動で生成することができるとして話題になっています。そんな中でAmazonが、液晶ディスプレイ搭載型のスマートスピーカー「Amazon Echo Show」に、音声をプロンプトとして入力することで物語・映像・BGMをその場で作り上げるアニメーション自動生成AI「Create with Alexa」を搭載すると発表しました。

‘Alexa, let’s make a story’: Amazon introduces a new feature that turns your Echo device into a storytelling companion
https://www.aboutamazon.com/news/devices/what-is-create-with-alexa

The science behind Alexa’s new interactive story-creation experience - Amazon Science
https://www.amazon.science/blog/the-science-behind-alexas-new-interactive-story-creation-experience

子どもたちがCreate with Alexaを搭載したAmazon Echo Showに「Alexa、物語を作って」と話しかけると起動し、あとは登場人物や設定などを音声で指示することで、物語をAIが自動生成します。シナリオだけではなく、各場面の映像やBGM、効果音もすべてAIが生成します。

物語の指示は、最初に「宇宙探検」「水中」「魔法の森」などのテーマを選択して行います。

次にキャラクターを選択して名前を付けます。

最後に「ばかばかしい」「ハッピー」「神秘的」などといった物語の雰囲気を表現する形容詞を選択します。すると、AIは5つの場面で構成された5～10行ほどの短い物語を作るとのこと。

一度作成したキャラクターや物語は個人のメディアギャラリーに保存可能。子どもがお気に入りの物語を後から見返したり、親と一緒に楽しんだりすることもできます。

Create with Alexaは物語のシナリオを作り出す「ストーリージェネレーター」と、シナリオに合致した画面を生成するモデルとBGMを生成するモデルで構成されています。ストーリージェネレーターは、入力されたプロンプトを受け取って物語のネームを作成する「プランナー」と、このネームから物語本文を生成する「テキストジェネレーター」で構成されています。

ストーリージェネレーターは、人間のライターに書かせた物語をデータセットとして学習しています。このデータセットは物語ごとに「宇宙探検」「水中」「魔法の森」といったタグにラベル付けされているとのこと。

そして、生成された物語は2つの自然言語処理モジュールによって代名詞や指示語が補われ、子どもでもわかりやすいように調整されるとのこと。同時に登場人物やアイテムなど、テキスト内のオブジェクトの関係を表わすグラフが自動で生成され、自動生成した画像とこのグラフを基にして物語にふさわしい場面が生成されます。生成される画像の多くはアニメーションとなっており、例えば水中の背景に配置された魚は尾びれを動かすそうです。

また、物語と同時に流れるBGMも、さまざまなコード進行・リズム・楽器編成を含むライブラリから自動生成されます。しかも、子どもがテキストを読むのにかかる時間を計算し、物語の雰囲気に合わせてBGMの長さや印象が決定されるとのこと。さらに、攻撃的なコンテンツをスクリーニングして除外するので、子どもにとって過度に刺激的な内容は生成されないようになっており、Create with Alexaの使用には保護者の同意が必要になるセーフティも設けられているとのこと。

Alexa AIの製品責任者であるEshan Bhatnagar氏は自身の6歳になる息子と一緒にベータテストを行っていたことを明らかにしています。Bhatnagar氏は「最初から慎重に精選されたデータソースを使用してAIモデルをトレーニングしました。息子と一緒に楽しい物語を作り上げる瞬間は、かけがえのないものです。『Create with Alexa』のエクスペリエンスを改善するだけでなく、より広く、AIの力をもたらして将来の可能性を解き放ちたいという気持ちにさせてくれます」とコメントしました。