Microsoft Bingの画像生成AI機能では禁止ワードの「9.11」とカービィやスポンジ・ボブなどの人気キャラクターを組み合わせた画像が簡単に作成できてしまい人間の制御できる範疇を超えてしまっているとの指摘

Microsoftの検索エンジンであるBingには、画像生成AIを用いた「Bing イメージクリエーター」という機能があります。この画像生成AI機能では暴力・テロリズム・ヘイトスピーチなどに関するプロンプトが利用できないようにブロックされており、Bing イメージクリエイターの使用に関するポリシーでもこれらのコンテンツの作成は明確に禁じられています。しかし、ユーザーはBing イメージクリエーターを使って禁止されているはずのコンテンツを簡単に作成することができており、もはや人間の制御できる範疇を逸脱してしまっていると、メディアが指摘しました。

Bing Is Generating Images of SpongeBob Doing 9/11
https://www.404media.co/bing-is-generating-images-of-spongebob-doing-9-11/

Microsoft Bing AI Generates Images Of Kirby Doing 9/11
https://kotaku.com/microsoft-bing-ai-image-art-kirby-mario-9-11-nintendo-1850899895

Bing イメージクリエーターが2023年3月にリリースされて以来、ユーザーは同機能を使ってさまざまな画像を生成しています。開発元であるMicrosoftは厳格なポリシーを作成して、Bing イメージクリエーターで作成できるコンテンツの種類を制限していますが、カービィやミッキーマウス、スポンジ・ボブといった人気キャラクターを用いてアメリカ同時多発テロ事件(9.11事件)を想起させるような画像を生成することが簡単にできてしまうことが明らかになっています。海外メディアの404 Mediaは、「今回の事例は、世界で最も豊富なリソースを持つMicrosoftのような企業でさえ、生成AIがモデレーションや著作権素材の問題に対処するの依然として苦労していることを示しています」と指摘。

海外で特に問題視されているのが、Bing イメージクリエーターが生成した「飛行機のコックピットに乗った人気キャラクターが9.11事件で崩壊したワールドトレードセンターを想起させる2本の高層ビルに向かって飛んでいる」という画像です。

Microsoftは9.11事件に関するフレーズであるとして、「ワールドトレードセンター」「ツインタワー」「9.11」などをプロンプトとして利用できないようにしています。そのため、これらのフレーズを含むプロンプトを入力しても、Bing イメージクリエーターは「利用規約に違反しています」というエラーメッセージを表示します。さらに、このエラーメッセージが表示されるようなプロンプトを何度も入力すると、Bing イメージクリエーターを永久に利用できなくなるそうです。

しかし、これらのブロックされているフレーズを使用せずに、9.11事件を想起させるような画像を生成することは簡単であると404 Mediaは指摘。以下の画像はすべてBing イメージクリエーターが生成した画像ですが、9.11事件を知っている人ならそれを想起してしまうような画像になっています。

以下の画像は「飛行機のコックピットに座り、2つの高層ビルに向かって飛んでいるカービィ」と入力して生成された画像。404 Mediaは「プロンプトではニューヨークなどの特定の都市を指定していませんが、これは間違いなくニューヨークで、まぎれもなくツインタワーです」と記し、プロンプトをあまり工夫しなくても9.11事件を想起させるような画像が生成されると指摘しています。

さらに、以下は「飛行機のコックピットに座り、ニューヨークの2つの高層ビルに向かって飛んでいるカービィ」と入力して生成された画像。2つの高層ビルを「ニューヨークにある」と指定すると、「生成される画像はさらに不吉な雰囲気をまとう」とのこと。

これらの画像は厳密には暴力もテロリズムも描いていませんが、人間は「2つの高層ビルに向かって飛ぶ飛行機の画像」と「9.11事件」を容易に結びつけてしまいます。

また、Microsoftは実在する人物の名前を利用することは禁じていますが、キャラクターの利用はブロックしていないため、ミッキーマウスやスポンジ・ボブなどの人気キャラクターだけでなく、ブレイキング・バッドの主人公であるウォルター・ホワイトなどの実写ドラマや映画に登場するキャラクターはプロンプトとして利用することが可能となっています。

「飛行機のコックピットに座り、2つの高層ビルに向かって飛行するウォルター・ホワイト」と入力して生成された画像。

「飛行機のコックピットに座り、2つの高層ビルに向かって飛んでいるミッキーマウス」と入力して生成された画像。

「飛行機のコックピットに座り、2つの高層ビルに向かって飛んでいるスポンジ・ボブ、ニューヨーク、写実的」と入力して生成された画像。

MicrosoftのBing イメージクリエーターは、個々のフレーズをプロンプトで利用できないようにブロックすることができますが、一部の企業はこの種のフィルタリング機能を一切使用せずに画像生成AIを作成しています。そもそも、生成AIモデルを開発している企業が、禁止されているものと禁止されていないものを完全に理解しているかどうかも明らかではないと404 Mediaは指摘しており、「なぜBing イメージクリエーターが『ユリウス・カエサル』というフレーズをブロックしているのかMicrosoftに尋ねたところ、返答は得られませんでした。これは、大手AI開発者の多くがブラックボックスの中で業務を行っていることを示しています」と記しています。

この種の論争はすべてユーザーの節度の問題であると404 Mediaは指摘。実際、YouTubeが性的コンテンツを禁止している一方で、教育関連のコンテンツとして性的なものを配信することは許可されていることから、これを抜け穴として性的コンテンツを配信するユーザーが現れることがあります。

なお、404 Mediaの報道に対して、Microsoftの広報担当者は「Microsoftは責任あるAI原則に沿ったツール・技術・安全システムを開発する大規模なチームがいます。新しいテクノロジーと同様に、一部のユーザーは意図しない方法でそれを利用することがあります。そのため、Bing イメージクリエーターをユーザーにとってポジティブで有益なエクスペリエンスにするため、さまざまなガードレールとフィルターを実装しています。Microsoftは有害コンテンツの作成を防止するためのシステム改善を継続し、ユーザーにとってより安全な環境構築に引き続き注力していきます」とコメントしています。