イラスト作品や写真作品を毒化して画像生成AIの学習を阻害できる学習防止ツール「Nightshade」

シカゴ大学の研究チームがAIによる画像学習を防止するツール「Nightshade」を開発しています。Nightshadeを用いて画像を処理すると画像の見た目を大きく変えずにAIによる学習を阻害することが可能とのことです。

[2310.13828] Prompt-Specific Poisoning Attacks on Text-to-Image Generative Models
https://arxiv.org/abs/2310.13828

Meet Nightshade, the new tool allowing artists to 'poison' AI models | VentureBeat
https://venturebeat.com/ai/meet-nightshade-the-new-tool-allowing-artists-to-poison-ai-models-with-corrupted-training-data/

画像生成AIの研究が急速に進む中、画像生成AIの学習に自身の作品を使われたくない人のために「画像に人間の目では気付きにくい変更を加えてAIの学習を阻害する」という方式の学習防止ツールの開発も活発に行われています。Nightshadeも学習防止ツールの一つで、過去に学習防止ツール「Glaze」を開発していたシカゴ大学の研究チームによって開発が進められています。

研究チームはNightshadeによって処理された画像を「毒」と表現しています。Nightshadeでは「犬の画像をAIに猫と誤認させる」といったように画像に特定の被写体が含まれていると誤認させる処理が可能。さらに、「Nightshadeで猫の画像と誤認されるように処理した犬の画像」を学習したAIは「犬」を出力するように指示されても「猫」を出力してしまう状態になってしまいます。

以下の画像は上段がオリジナル画像で下段がNightshadeで毒化した画像です。注意深く観察しても両者の違いは分かりません。

Nightshadeで処理した画像をStable Diffusion XLに学習させた場合の効果を示した例が以下。Nightshadeで処理した画像を学習していないモデルでは「Dog(犬)」と入力した際に指示通りに犬の画像を出力しますが、「Nightshadeで猫と誤認するように処理した犬の画像」を50枚学習した場合は犬の描写が不安定になり、100枚や300枚学習した場合は「Dog」と指示されても猫の画像を出力するようになります。

その他の例を並べた画像が以下。「犬から猫」という変化以外に「車から牛」「ハンドバッグからトースター」「ハットからケーキ」といった変化も可能です。

また、Nightshadeの効果は処理対象画像に含まれる特徴に類似する特徴を持つ画像にも影響を及ぼします。例えば「Fantasy art(ファンタジーアート)」というプロンプトを阻害するように処理した場合、「A painting by Michael Whelan(マイケル・ウィーランの絵画)」「A doragon(ドラゴン)」「A castle in the Lord of the Rings(指輪物語の城)」といったプロンプトも阻害されます。一方で「A painting by Van Gogh(ファン・ゴッホの絵画)」「A chair(イス)」「A castle(城)」といった関係の薄いプロンプトは阻害されません。

研究チームは近いうちにNightshadeをGlazeのオプションとして利用可能にする予定です。

2023年10月24日16時14分追記：
研究チームの一員であるBen Y. Zhao氏に問い合わせたところ、「Glazeの日本語版を作成中」という情報が寄せられました。