AIアシスタントが配信中にコメントを読んだりクリップを作成したり完全自動で演出したりできる次世代配信支援システム「Intelligent Streaming Assistant」をStreamlabsが発表

配信・録画用のソフトウェアを提供するStreamlabsが、NVIDIAとInworld AIと共同開発した、配信者サポート用のAIアシスタント「Intelligent Streaming Assistant」を発表しました。このIntelligent Streaming Assistantは配信者の負担を軽減しながら、視聴者により充実したエンターテインメント体験を提供することを目指しています。

Introducing Streamlabs’ New Intelligent Streaming Assistant in Collaboration with NVIDIA and Inworld AI | Streamlabs
https://streamlabs.com/content-hub/post/introducing-streamlabs-new-intelligent-streaming-assistant-in-collaboration-with-nvidia-and-inworld-ai

GeForce RTX 50 Series GPUs Double Creative Performance | NVIDIA Blog
https://blogs.nvidia.com/blog/generative-ai-studio-ces-geforce-rtx-50-series/

Streamlabs Launches Intelligent Streaming Assistant in Collaboration With NVIDIA and Inworld AI - YouTube

Intelligent Streaming Assistantは主に三つの役割を果たします。

第一に、仮想的な「3Dサイドキック(相棒)」として機能します。この3Dサイドキックは、ゲームプレイや視聴者のチャット内容を理解し、それに基づいて適切なコメントを提供してくれるとのこと。例えば、ゲーム内で特にスリリングな瞬間が訪れた際には、それを指摘して視聴者の注目を集めたり、静寂が訪れた時に話題を提供することで、配信が退屈になるのを防ぎます。また、視聴者からの投げ銭やメッセージをリアルタイムで強調表示することで、配信の盛り上がりを維持してくれます。

第二の役割が「プロデューサー」としての機能です。これは配信中の画面切り替えやエフェクトの挿入、ゲームプレイのクリップ作成などを自動で行います。配信者が一人で行うには手間のかかるタスクを代行することで、ストリーミングの演出をより魅力的でダイナミックなものにする目的があるとのこと。

第三に、このアシスタントは「テクニカルサポート」としての機能を提供します。例えば、ストリーミングソフトウェアのセットアップやトラブルシューティングをサポートし、初めてストリーミングを行う人でもスムーズに配信を始められるようにするとのこと。この技術的な支援は、特に複雑な設定が必要な場合や問題が発生した際に有効であり、配信者がストレスを感じることなく配信を続けられる環境を提供してくれます。

Intelligent Streaming Assistantの技術的な基盤として、NVIDIAのACE(Avatar Cloud Engine)技術とInworld AIの認知エンジンが採用されています。

ACE技術の主な機能はデジタルヒューマンの生成です。これはリアルタイムで表情や動きを生成し、自然な対話を実現します。次に音声からのアニメーション生成により、音声入力に合わせた口の動きや表情の自動生成を行います。さらにゲーム内の状況や周囲の環境を理解するコンテキスト理解機能を備え、それに基づいて適切な反応を示すことができます。そして、テキストや音声、視覚情報など複数の入力を統合して処理するマルチモーダル対話により、状況に応じた適切な応答が可能です。

NVIDIAは、NVIDIA RTX 50シリーズGPUを用いた生成AIとエージェントAIが実際のコンテンツ制作をサポートする具体例として、Intelligent Streaming AssistantとACE技術をアピールしています。

一方、Inworld AIはエージェントAIのためのフレームワークとして機能し、音声やテキスト、画像などの様々な入力を受け取り、それらを統合的に解析します。また、「パーソナリティ」という概念を持っているので、設定された性格や行動傾向に基づいて、どのように反応するかを決定します。これによって、配信者の配信スタイルに合ったパーソナリティを選択できます。これにより、Intelligent Streaming Assistantは配信の雰囲気やトーンに合わせた柔軟な対応が可能になります。さらに、学習機能も備えているので、配信者との対話や視聴者の反応から、基本的な性格設定から逸脱しない範囲でより適切な対応方法を改善していくこともできるそうです。

なお、Intelligent Streaming Assistantは2025年の前半にStreamlabsのアプリストアでリリースされる予定となっています。