AdobeがジェネレーティブAI「Firefly」による動画編集の一部を明らかに、色の変更・効果音生成・絵コンテの自動生成が可能

Adobeが独自に開発したジェネレーティブAIの「Firefly」は、著作権が失効したコンテンツやライセンスフリーのコンテンツのみで学習しており、画像やテキストエフェクトを自動で生成することができます。AdobeがFireflyをCreative Cloudに導入し、動画編集や音声編集に使えるようにするために開発を進めていることを明らかにしました。

Reimagining Our Video and Audio Tools with Adobe Firefly | Adobe Blog
https://blog.adobe.com/en/publish/2023/04/17/reimagining-video-audio-adobe-firefly

AdobeはこれまでにもAI技術をCreative Cloudに導入しています。例えば、機械学習を利用した「Adobe Sensei」はPhotoshopでの「コンテンツに応じた塗りつぶし」やPremiere Proの「オートリフレーム」などを実現しています。

「画像検索はここまで来たのか」とすさまじさを実感するAdobeのAI「Adobe Sensei」の秘密を開発者が解説 - GIGAZINE

AIや機械学習のフレームワークについて10年以上も開発を続けているAdobeが2023年3月に発表したジェネレーティブAIが「Adobe Firefly」です。FireflyはAdobeのフォトストックサービスであるAdobe Stockの画像や、ライセンスフリーのコンテンツ、著作権が失効しているパブリックドメインコンテンツをベースにトレーニングされているため、他のクリエイターやブランドの知的財産を侵害するようなコンテンツを生成することはないというのが大きな特徴。

Adobeが独自のジェネレーティブAI「Firefly」を発表、PhotoshopやIllustratorといったCreative Cloudへの統合も - GIGAZINE

実際にFireflyでどんなことができるのかについては、Adobeの最高デジタル責任者である西山正一氏による説明会でPhotoshopやIllustratorでの使用例が実演されており、その内容は以下の記事で確認できます。

AdobeのPhotoshopやIllustratorでもテキストベースで画像やエフェクトを生成できるようになるAI「Firefly」では一体どんなことができるのか中の人に見せてもらってきた - GIGAZINE

そして、Adobeは動画編集ソフトであるPremiere ProにFireflyを導入したらどんなことが可能になるのかを公開しました。

例えば、編集中の動画にBGMを付けたい時に「明るくて冒険的、元気のでる音楽」というようにテキストを入力し、BGMを生成することが可能に。

また、効果音もFireflyで生成して付け足すことができます。

さらに画面の色使いをテキスト入力で変更可能に。

画面の色使いの変更はこれまででも可能でしたが、実際の数値を自分でちまちまと変更するのではなく、雰囲気や色合いをテキストで入力するだけで自動で変更できるようになります。

さらに「顔を明るくして」と入力すれば、AIが顔を自動認識。

顔の部分だけの明るさを変更することができました。

ショートムービーのキャプションを自動で生成

そのままムービーに自動でキャプションを配置。

「3Dで溶ける鉄」と入力。

MOLTENという文字が、まさに金属が溶けていくようなエフェクトで描画されました。

Bロール機能とは、あらかじめ台本を入力しておくことで、メインの映像を補完するようなサブの映像(Bロール)を作成し、編集に追加するというもの。

また、Bロールだけではなく、台本を読み込ませることで、その内容に応じた絵コンテを自動で作成。

さらにこの絵コンテを基にプリヴィズを作成することも可能になります。

記事作成時点では、動画編集へのAdobe Fireflyの応用はまだ開発中の段階だそうですが、Adobeは2023年後半にはリリースしたいと述べています。