Mozillaが技術ドキュメントを検索したり解説したりするAI機能を提供開始、ただし機能の一部は一時停止に

FirefoxやThunderbirdを開発するMozillaは、ウェブ標準やプロジェクトの開発文書をホスティングする「MDN Web Docs」を運営しています。Mozillaが、このMDN Web Docs上でドキュメントを参照する開発者を支援する目的で、ドキュメントの検索や開設をしてくれるAI機能を2023年6月末に発表しましたが、その一部の提供を一時停止しています。

Introducing AI Help: Your Trusted Companion for Web Development | MDN Blog
https://developer.mozilla.org/en-US/blog/introducing-ai-help/

Responsibly empowering developers with AI on MDN
https://blog.mozilla.org/en/products/mdn/responsibly-empowering-developers-with-ai-on-mdn/

Mozilla pauses error-prone AI Explain feature in MDN • The Register
https://www.theregister.com/2023/07/06/mozilla_ai_explain_shift/

Mozillaは2023年6月27日に、MDN Web Docsに「AI Help」という機能を実装しました。このAI Helpは検索プロセスを最適化するように設計されており、必要な情報をすばやく簡単に見つける手助けをしてくれるとのこと。

AI Helpでは、「類似検索のための埋め込み」と「生成AIの追加」が行われています。「類似検索のための埋め込み」は、MDN Web Docsにある記事の各セクションを低次元のベクトルに変換し、単語間の文脈的関係性をデータ化することで、与えられたクエリに関して関連性の高いセクションを特定するというもの。そして、「生成AIの追加」はOpen AIのChatGPT(GPT-3.5)を利用することで、会話型インターフェースを使って必要な情報にアクセスすることを可能にします。

さらに、実験的なツールとして、MDN Web Docsにある文書に埋め込まれているコードやサンプルコードを検索して目的と動作をAIが説明してくれる「AI Explain」という機能も用意されました。

しかし、Mozillaによれば、これらのAI機能はまだ初期段階にあり、クエリに応じて誤った情報を提供する事例も確認されているとのこと。特にMozillaが「実験的なツール」としているAI Explainは、具体的に不正確な回答が表示されたケースがユーザーから複数指摘されたそうです。例えば、以下はCSSのサンプルコード(上段)をAI Explainが解説(下段)しているところ。AI Explainではなぜか2行2列のグリッドを定義しているとしていますが、実際は2行しか定義していないので、これは誤りです。

AI HelpとAI Explainをリリースしてから多くのフィードバックがあり、AI Helpについては「いいね」が129件、「嫌い」が41件あり、肯定的なフィードバックは75.88％、否定的なフィードバックは24.12％を占めていたとのこと。また、AI Explainについては「いいね」が1107件、「嫌い」が459件あり、肯定的なフィードバックが68.90％、否定的なフィードバックが31.10％を占めていたとMozillaは明らかにしています。Mozillaは「我々は慎重なアプローチを採ることにしました。調査が完了し、問題に対して高品質な修正が行われるまで、AI ExplainツールをMDNから一時的に削除します」と述べました。

しかし、Mozillaがドキュメントに対して埋め込みを生成してAI検索に利用しようとしていることについては、AIに対して忌避感を持つ一部の開発者から反発も生まれています。GitHubでは「技術ライターを雇っても解決できないような本当の問題は解決できません。本質的にこの問題は、品質を犠牲にしてライターを雇わないことでコストを節約する著作権洗浄マシンです。これは、訓練を受けた知識豊富なライターの労働をOpenAIの搾取マシンで置き換える試みです」「このブログ投稿のすべてが不快です。現時点でMozillaはウェブドキュメントの無責任な管理者であり、これ以上関与すべきではないことが十分明らかとなっています」と述べ、Mozillaへの怒りを露わにしている人もいます。