「映像から文字起こししたテキストを編集するだけで元の映像も編集できる機能」がAdobe Premiere Proに追加される

Adobeが、2023年4月15日～19日にラスベガスで開催される放送・メディア関連カンファレンス兼展示会「2023 NAB Show」に先駆け、映像編集ソフトのAdobe Premiere Proの新しいバージョンを2023年4月13日(木)に発表しました。この新しいバージョンでは、AIによってテキストのコピー＆ペーストで簡単に動画編集ができる「文字起こしベースの編集」や異なるカメラの映像をミックスしてもカラーやコントラストの整合性を維持できる「自動トーンマッピング」などの機能が盛り込まれます。

NAB 2023: Introducing Text-Based Editing in Premiere Pro, Properties panel in After Effects, and much more | Adobe Blog
https://blog.adobe.com/en/publish/2023/04/13/nab-2023-introducing-text-based-editing-premiere-pro-properties-panel-after-effects-more

Adobe expands Frame.io video platform to support image and PDF files - The Verge
https://www.theverge.com/2023/4/13/23681495/adobe-frameio-premiere-pro-new-features-editing

Adobe at NAB 2023 - YouTube

画像編集ソフトのPhotoshopや映像編集ソフトのPremiere Proを開発するAdobeは以前から自社ソフトにAI技術を積極的に取り入れており、「Adobe Sensei」というAI技術群が特に知られています。

「画像検索はここまで来たのか」とすさまじさを実感するAdobeのAI「Adobe Sensei」の秘密を開発者が解説 - GIGAZINE

また、Adobeは2023年3月に独自のジェネレーティブAI「Firefly」を発表しており、PhotoshopやIllustratorなどに統合する姿勢も明らかにしています。

AdobeのPhotoshopやIllustratorでもテキストベースで画像やエフェクトを生成できるようになるAI「Firefly」では一体どんなことができるのか中の人に見せてもらってきた - GIGAZINE

Adobe Premiere Proは、「文字起こしベースの編集」「自動トーンマッピングとLOGカラー検出機能」「シーケンスロックを含む共同編集機能の強化」「のフォーマットサポートの強化」「音声のテキスト化に対応する言語の追加」「デベイヤリングとトランジション効果のGPUアクセラレーション」といった新機能が追加されるなど、かなりの大型アップデートとなります。


「文字起こしベースの編集」について、Adobeは「ポストプロダクションのワークフローを根本的に変革する機能」と評価しています。これは、Adobe Premiere Proに搭載されている文字起こし機能を利用し、文字起こししたテキストをコピー＆ペーストするだけでビデオ編集ができるというもの。

AIが映像を自動的に分析してテキストを生成し、映像編集者が文章をコピーして任意の順番で貼り付けるだけで、タイムライン上に該当する動画が順番に表示されます。従来であれば、映像のカットタイミングは映像をその都度確認しなければ把握できませんでしたが、文字起こしによってセリフベースで自動的にカットできるようになることで、編集者の負担が大きく削減されます。

また、異なるカメラや異なる位置から同じものを撮影した時、映像によって微妙に色味や明るさなどが異なることがあります。

従来は複数のカメラから撮影した映像を組み合わせて1つの映像に編集する前に、映像ごとに調整を行ってこの色味や明るさをそろえる必要がありました。この作業をAIで自動化するのが「自動トーンマッピングとLOGカラー検出機能」です。

また、編集中のシーケンスにはロックがかかって閲覧モードになるため、共同編集作業中でも他者が変更できないようにすることが可能になり、誰が作業しているかを示す「プレゼンスインジケーター」や、オフラインで作業後にオンラインに戻った時に、いきなり他の編集者の作業を上書きせずに変更箇所を公開する「オフライン作業」といった機能も追加されます。さらに、Frame.ioに作業中のプロジェクトを書き出すことで、プロジェクトを安全に共有してレビューすることができるようになるとのこと。

また、RED V-Raptor X、ARRI Alexa 35、Sony Venice 2といったカメラのフォーマットへの対応、文字起こし機能の対応言語にオランダ語・ノルウェー語・スウェーデン語・デンマーク語などの追加、デベイヤリングとトランジション効果のGPUアクセラレーション、Adobe Media Encoderへの直接書き出しとレンダリングなど、コミュニティからの要望に応えたアップデートも行われています。

また、デジタル映像エフェクトソフトのAdobe After Effectには、選択した内容に応じて最も重要だと思われる設定が自動的に表示される新しい「プロパティパネル」が採用されました。さらにタイムラインのレイヤー選択の高速化やシェイプのマルチフレームレンダリングなど、全体的にパフォーマンスの最適化が実現されているそうです。