OpenAIは動画生成AI「Sora」で実在の人物が映る動画や既存のアーティストをまねる動画の生成を制限している

OpenAIは動画生成AIのSoraの製品版となる「Sora Turbo」を2024年12月9日にリリースしました。しかし、OpenAIはさらなるテストが完了するまで、実在の人物を取り込んだ動画を生成できる機能をごく一部のユーザー以外には公開しないことを明らかにしています。

Sora System Card | OpenAI
https://openai.com/index/sora-system-card/

Why OpenAI is only letting some Sora users create videos of real people | TechCrunch
https://techcrunch.com/2024/12/09/openai-is-only-letting-some-sora-users-create-videos-of-real-people/

正式リリースされたSora Turboについては、以下の記事を読むとよくわかります。

OpenAIが動画生成AI「Sora」を正式にリリース、ChatGPT Plus・Proプランで利用可能 - GIGAZINE


制限されている機能は、アップロードされた写真や実在の人物の映像を参考にして動画を生成する機能です。OpenAIは、Soraのユーザーのごく一部にこの機能へのアクセスを許可しているものの、安全性へのアプローチを微調整できるまで、この機能を広く展開する予定はないとしています。

また、「実在の人物を含む生成動画をSoraの公開フィードに共有することを許可しない」とOpenAIは定めています。

OpenAIはブログで「アーティストから得た初期的なフィードバックによれば、実在の人物の写真や動画を基に動画を生成する機能は強力なクリエイティブツールです。しかし、悪用される可能性があるため、私たちは段階的なアプローチをとり、しばらくは全ユーザーに公開しません」と述べました。

OpenAIの技術スタッフでSoraの研究リーダーであるウィル・ピーブルズ氏は「私たちはOpenAIとして明確に大きな目標を背負っています。Soraによる違法行為は防ぎたいと思っていますが、一方で創造的な表現とのバランスも取っていきたいと考えています。これは継続的な課題であることは承知しています。初日から完璧にできるとは限りません。私たちは少し控えめなスタートを切ります。私たちのモデレーションが完璧でなかった場合は、フィードバックをお願いします」と、プレゼンテーションで語っています。

さらに、OpenAIは生成された動画に18歳未満の人物が映っているかどうかをチェックするフィルターを導入しています。もし18歳未満の人物が映っていた場合、OpenAIは性的、暴力的、自傷的なコンテンツに関するモデレーションとして「より厳しい基準」を適用すると主張しています

また、著作権侵害の申し立てを回避するため、現存するアーティストのスタイルで動画を生成しようとした時にプロンプトを書き換える仕組みも搭載しているとのこと。さらにSoraで生成されたすべての動画には、C2PAに準拠したメタデータが仕込まれており、AI生成であることが示されているとのこと。ただし、IT系ニュースサイトのTech Crunchは「メタデータは削除できてしまう」とコメントしています。

なお、OpenAIは「Soraは『多様なデータセット』を組み合わせてトレーニングされた」とだけ述べており、この「多様なデータセット」には一般公開データやベンダーとの提携を通じてアクセスした専有データ、社内で開発したカスタムセットが含まれていると言われています。また、2024年4月には、OpenAIは100万時間以上のYouTube動画をトレーニングに使っていたと報じられています。

100万時間以上のYouTube動画をOpenAIがAIモデルのトレーニングに利用していたことが判明 - GIGAZINE