2023年04月26日 07時00分メモ

画像生成AI「Stable Diffusion」が使う無料のデータセット「LAION」の構築を率いているのは1人の高校教師だった

画像生成AI「Stable Diffusion」が使用していることでも知られている、ジェネレーティブAIの学習用データセットを構築する非営利団体が「LAION」です。このLAIONのリーダーを務めるのが、ドイツのハンブルグ市で高校教師として働くクリストフ・シューマン氏です。

A High School Teacher’s Free Image Database Powers AI Unicorns - Bloomberg
https://www.bloomberg.com/news/features/2023-04-24/a-high-school-teacher-s-free-image-database-powers-ai-unicorns

クリストフ・シューマン氏はウィーン大学でコンピューター科学と物理学を学びながら、ワークショップで6年間にわたって演技を学び、卒業後はハンブルク市でIT管理者と教師の仕事に就きながら、子ども向けに映画を撮影するワークショップに参加していました。

そんなシューマン氏がLAION設立に関わったのは、AI愛好家向けのDiscordサーバーに参加したことがきっかけでした。当時、AI開発団体のOpenAIがDALL-Eという画像生成用拡散モデルを開発していましたが、シューマン氏は大手テクノロジー企業がデータを占有するようになることを懸念していたとのこと。

そこで、シューマン氏はDiscordサーバーの仲間たちとともに、拡散モデルの学習に役立つオープンソースのデータセットを作成するプロジェクト「Large-scale AI Open Network」を立ち上げました。画像のデータセットは単に画像を詰め合わせたものではなく、画像に何が写っているかを説明する注釈が必要となります。シューマン氏らは、カリフォルニアの非営利団体・Common Crawlが収集したHTMLコードを使ってインターネット上の画像を探し出し、説明的なテキストを関連づける作業を行いました。

その結果、シューマン氏らはわずか数週間で300万件の画像とテキストのセットを集めることに成功。さらに3カ月後には4億件の画像とテキストのペアを含むデータセットをリリースすることができました。記事作成時点では50億件を超える画像とテキストを含んだ「LAION-5B」もリリースされており、無料で使用できるデータセットとしては最大規模のものとなっています。また、LAIONは画像認識モデルのCLIPやそのベンチマークなどのツールも公開しています。

LAIONのデータセットに含まれる画像やリンクの多くは、PinterestやShopify、Amazon Web Servicesにあるビジュアルデータや、YouTubeのサムネイル、芸術共有ソーシャルサイトのDeviantArtにアップされているポートフォリオ、ニュースサイトの写真、アメリカ国防総省など政府のウェブサイトにある画像など、インターネット上にあるものです。そのため、LAIONが収集した画像やリンクの中には暴力的・差別的・性的なコンテンツが含まれることがあります。

シューマン氏はLAIONのデータセットを構築する前に、弁護士と相談して違法なコンテンツをフィルタリングする自動ツールを実行したそうです。また、問題あるコンテンツが通知された場合、すぐにそのコンテンツを削除しているとのこと。ただし、シューマン氏はデータセットを完璧にフィルタリングすることよりも、データセットで学習できことに興味があると述べており、「公開したデータから暴力的なコンテンツをフィルタリングすることもできましたが、データに含まれる暴力的コンテンツが暴力検出ソフトウェアの開発を早めることにつながるため、フィルタリングしないことにしました」と語っています。

2021年7月にLAIONは非営利団体となり、シューマン氏はそのリーダーに就任しました。LAION宛の連絡はシューマン氏が引き受けている模様で、ハンブルグ市郊外にあるシューマン氏自宅の郵便受けには、「LAION」と鉛筆で走り書きされた紙が貼られているとのこと。

もちろんデータセットの作成は完全に無報酬であり、全員が無給で働いています。そのため、LAIONは2021年にAI向けオンラインリポジトリを提供するHagging Faceから1回だけ寄付を受けました。

さらに、Discordのチャットで計算コストの負担を申し出たのが、Stablity AIのCEOを務めるエマード・モスターク氏でした。モスターク氏はオープンソースのジェネレーティブAIによる事業を立ち上げたいと考えており、そのAIの学習にLAIONを使いたいと考えていました。シューマン氏は「モスターク氏について、最初は非常に懐疑的でした」と述べており、LAIONチームはモスターク氏のアイデアを本気にしていなかったそうですが、モスターク氏率いるStability AIは2022年8月にLAIONのデータセットで学習したStable Diffusionをリリース。記事作成時点でStability AIは40億ドル(約5370億円)の評価額を得ています。

シューマン氏自身はLAIONから報酬を一切得ておらず、将来的に得るつもりもないと述べています。シューマン氏は「私はまだ高校の教師です。独立したままでいたかったので、あらゆる種類の企業からの求人を拒否しました」と述べています。