低品質なコードを生成するAIユーザーの急増に対抗してオープンソースの品質を維持するシステム「Vouch」

近年は自分でコードを書かずAIにコードを生成させるAIユーザーが増えていますが、AIが生成したコードには低品質なものも多く含まれています。そのため、多くのユーザーの協力で成り立っているオープンソースの開発プロジェクトにとって、低品質なAI生成コードを排除するコストの増大が問題となっています。そこで、ソフトウェア開発者であるミッチェル・ハシモト氏が、質の悪いAIユーザーを排除してオープンソースプロジェクトの品質を維持するシステム「Vouch」を公開しました。

GitHub - mitchellh/vouch: A community trust management system based on explicit vouches to participate.
https://github.com/mitchellh/vouch

ハシモト氏はGitHubのドキュメントで、「オープンソースは常に信頼と検証のシステムに基づいて機能してきました。歴史的に、コードベースを理解して変更を実装し、その変更をレビューに提出するために必要な労力が十分に高かったため、資格のない人々からの低品質な貢献を自然に排除できていました。20年以上にわたり、この参入障壁は私や他人のほとんどのプロジェクトにとって十分でした」と述べています。

しかし、近年のコード生成AIの発達によって状況は一変し、人々は簡単に「もっともらしい見た目だがプロジェクトに対する真の理解がほとんどない、極めて低品質のコード」を投稿できるようになってしまったとのこと。

そこでハシモト氏は、「オープンソースは依然として信頼の上に成り立っています！そしてどのプロジェクトにも、明確に信頼できる個人のグループであるメンテナと、おそらく信頼できるであろう個人のより大きなグループ、つまりあらゆる形態のコミュニティのアクティブメンバーが存在します」と主張。新たなオープンソースプロジェクトの検証システムとして、「Vouch」を発表しました。

Vouchには、プルリクエストの作成者が保証された人物(貢献者)であるかどうかを確認する「check-pr」、議論(discussions)のコメントを通じてユーザーを貢献者リストに追加するかどうかを決める「manage-by-discussion」、問題(issue)へのコメントを通じてユーザーを貢献者リストに追加するかどうかを決める「manage-by-issue」という3つのGitHub Actionが用意されています。

GitHubリポジトリの管理者はGitHub Actionを通じてこれらの機能を導入することで、オープンソースプロジェクトに貢献するかどうかを検証することができます。ハシモト氏は、「誰がどのように保証されるのか、あるいは非難されるのかはプロジェクト次第です。私は世界の価値観警察ではありません。自分のプロジェクトとコミュニティにとって、何が機能するのかを自分で決めてください」と述べ、Vouchを使用するプロジェクトの判断には関与しないと説明しました。

Vouchに関するすべてのデータはリポジトリ内の単一のテキストファイルに保存されており、簡単に解析することができます。また、Vouchではプロジェクト間で「保証リスト」を共有することが可能。共通の価値観を持つプロジェクト同士でリストを共有し、どのユーザーを認めてどのユーザーをブロックするのかを判断する包括的な「信頼のネットワーク」を築くことができると、ハシモト氏は主張しています。

すでにハシモト氏は、自身が手がけるターミナルエミュレータ「Ghostty」のGitHubリポジトリでVouchを試験的に導入しています。

Introduce the Vouch/Denouncement Contribution Model by mitchellh · Pull Request #10559 · ghostty-org/ghostty · GitHub
https://github.com/ghostty-org/ghostty/pull/10559