AIによる学習を妨害する敵対的ノイズを画像から除去できる「AdverseCleaner」を使ってみた

画像生成AIにイラストや写真を学習させることを防ぐため、「Mist」などを使って画像に敵対的サンプルと呼ばれるノイズを入れる方法があります。この敵対的サンプルによるノイズを画像から除去するためのツール「AdverseCleaner」が登場しています。

GitHub - lllyasviel/AdverseCleaner: Remove adversarial noise from images
https://github.com/lllyasviel/AdverseCleaner

AdverseCleanerはHugging Faceで公開されており、実際に試してみることができます。

AdverseCleaner - a Hugging Face Space by p1atdev
https://huggingface.co/spaces/p1atdev/AdverseCleaner

今回は敵対的サンプルのノイズが加えられた以下の画像をAdverseCleanerで処理してみます。

画像を読み込ませて、「Start」をクリックすればOK。

右側にノイズが除去された画像が表示されます。

ノイズありの画像(左)とノイズを除去した画像(右)の比較が以下。中央のスライダーを動かすことで見比べられます。ノイズありの画像には、背景や塗りの部分に独特の模様が浮き出ていますが、ノイズ除去後の画像からは模様がすっきり消えています。

ノイズを加えた画像がない場合、Hugging Face上に用意された3枚のサンプル画像でもAdverseCleanerの効果を確かめられます。「Examples」にある画像をクリックすると自動で入力されます。

Startの下にある「Advanced Config」をクリックすると、ノイズ除去の設定を細かく調整できます。AdverseCleanerはバイラテラルフィルターとガイデッドフィルターで構成されており、Advanced Configはこの2つのフィルターの引数を調整します。

スライドバーを動かして「Start」をクリックすると、ノイズ除去後の画像が出力されました。

ノイズありの画像(左)とノイズを除去した画像(右)が以下。肌や服、背景に見られるノイズが除去されて、きれいになくなっていることがよくわかります。

AdverseCleanerはHuggingFaceで公開されているほか、AUTOMATIC1111版Stable Diffusion web UIの拡張としても配布されています。

GitHub - gogodr/AdverseCleanerExtension: Remove adversarial noise from images
https://github.com/gogodr/AdverseCleanerExtension