Stable Diffusionなどの画像生成AIに用いられる拡散モデルは「進化的アルゴリズム」だという主張

Stable DiffusionやDALL-E 3などの画像生成AIでは、拡散モデルと呼ばれる生成モデルが使用されています。新たにアメリカのハーバード大学やタフツ大学、オーストリアのウィーン工科大学などの研究チームが、「拡散モデルは本質的に進化的アルゴリズムだ」と主張する論文を発表し、話題を呼んでいます。

[2410.02543] Diffusion Models are Evolutionary Algorithms
https://arxiv.org/abs/2410.02543

Diffusion Models are Evolutionary Algorithms
https://gonzoml.substack.com/p/diffusion-models-are-evolutionary

This AI Paper Introduces Diffusion Evolution: A Novel AI Approach to Evolutionary Computation Combining Diffusion Models and Evolutionary Algorithms - MarkTechPost
https://www.marktechpost.com/2024/10/10/this-ai-paper-introduces-diffusion-evolution-a-novel-ai-approach-to-evolutionary-computation-combining-diffusion-models-and-evolutionary-algorithms/

拡散モデルとは、元のデータにランダムでノイズを繰り返し追加した過程を学習することにより、逆方向の「ノイズだらけのデータから徐々にノイズを除去していってきれいなデータを生成する」ことを可能にした学習モデルのことです。

実際にStable Diffusionなどの画像生成AIで拡散モデルがどのように機能しているのかは、以下の記事を読むとよくわかります。

画像生成AI「Stable Diffusion」がどのような仕組みでテキストから画像を生成するのかを詳しく図解 - GIGAZINE

一方で進化的アルゴリズムとは、生殖活動や遺伝子の突然変異といった生物の進化の仕組みに着想を得たアルゴリズムのことです。研究チームは、徐々に確率的なノイズ除去を行っていく拡散モデルは、本質的に進化的アルゴリズムと同じものだと主張しています。

なお、研究チームは論文の中で「Evolutionary Algorithms(進化的アルゴリズム)」という言葉を使っていますが、実際のところ進化的アルゴリズムにはいくつかの手法が存在しています。今回の論文で言及されている内容は、そのうちの「Genetic Algorithm(遺伝的アルゴリズム)」に近いものだと指摘されています。

遺伝的アルゴリズムは、複雑なタスクの解となるデータを生物の遺伝子に見立てて、近似解を探索するアルゴリズムのことです。候補となる多様な解(データ)の中から適応度の高いもの同士を組み合わせたり(交配)、データの一部を変化させたり(突然変異)することで、より優れたデータを選択していき、最終的に実用的な解を得るというものです。これは、生物が世代間で進化を繰り返し、最終的に環境へ適応した形態に収束していく様子と似ています。

研究チームは、拡散モデルにおけるランダムノイズの追加を遺伝的アルゴリズムにおける突然変異、拡散モデルにおけるノイズの除去を遺伝的アルゴリズムにおける選択と解釈して、「拡散モデルは本質的に進化的アルゴリズム(遺伝的アルゴリズム)を実行している」と主張しています。

さらに論文では、この拡散モデルと遺伝的アルゴリズムの等価性に基づいて、反復的なノイズ除去でパラメータ空間の解を求める「Diffusion Evolution method(拡散進化法)」という進化的アルゴリズムが提案されました。拡散進化法は、通常は1つの解に収束する多くの古典的な進化的アルゴリズムと異なり、複数の優れた解を同時に見つけられる点が優れているとのことです。

この論文については、海外のソーシャルネットワークであるHacker Newsでも議論が交わされています。進化的アルゴリズムに携わる仕事をしていたというあるユーザーは、「確かに遺伝的アルゴリズムを使ってニューラルネットワークを最適化できる可能性があるものの、拡散モデルが進化的アルゴリズムだと主張するのは無理があり、論文ではそのつながりが適切に説明されていませんでした」とコメントしていました。

Diffusion models are evolutionary algorithms | Hacker News
https://news.ycombinator.com/item?id=42097418