インパクトのあるAI研究をするにはどうすればよいか？

スタンフォード大学の自然言語処理グループに所属しており、AIフレームワークの「DSPy」や「ColBERT」の開発者でもあるオマル・ハッターブ氏が、「現在のかなり混雑したAI分野で違いを生み出す研究を行うにはどうすればよいか？」についてまとめています。

blog/2024.09.impact.md at main · okhat/blog · GitHub
https://github.com/okhat/blog/blob/main/2024.09.impact.md

◆1：論文ではなくプロジェクトに投資する
大学生は最初の論文を発表することに重きを置きがちですが、長期的な達成感および成長は論文を書いた数ではなく、研究全体により生み出させることになるとハッターブ氏は主張しています。自分の研究を独立した論文として捉えるのではなく、自分自身が追い求めるビジョンや研究によって何を変えたいのかに焦点を当てる必要があるとのこと。焦点を当てるべきなのは、「論文単位よりもはるかに大きく、まだ完全に解決していない問題」である必要があるとハッターブ氏は記しました。

これを実現するための方法のひとつが、オープンソースで維持している一貫した成果物(モデル、システム、フレームワーク、ベンチマークなど)を中心に研究論文の一部を構成することであるとハッターブ氏は主張しています。この戦略では、影響を与えるのに適した特性を持つ問題を見つける必要がありますが、新しい研究が実際に一貫性があり、有用であることを保証するのに役立つとのこと。

◆2：大きな幅とファンアウトを持つタイムリーな問題を選択する
論文の多くは探索的な一回限りのものです。ハッターブ氏は、より大きなプロジェクトに変えることができる方向性を持った問題を見つける必要があると主張しており、そのために有用な3つの基準を挙げました。

1：問題がタイムリーである
AI分野の場合、2～ 3年以内に「ホット」になるものの、まだ主流にはなっていない問題領域を探すことをハッターブ氏は推奨しました。

2：取り組む問題が「大きなファンアウト」、つまりは多くの下流の問題に潜在的に影響を与えるようなものであること
大きなファンアウトを持つ問題は、基本的に結果が十分な人々に利益をもたらしたり、関心を持たれたりする可能性の高い問題であるはずです。研究者は自分の目標を達成するのに役立つ問題に取り組むものであるため、その成果物は他の人が物を構築したり、研究や生産の目標を達成したりするのに役立つものである可能性があります。このフィルターを適用して、理論的基礎、システムインフラストラクチャー、新しいベンチマーク、新しいモデル、その他多くのことに取り組むことができるとハッターブ氏。

3：問題には大きな幅が必要
システムを1.5倍高速化できる、5％効率化できると伝えても、大きな注目を得ることはできません。少なくとも数年の作業で、「20倍高速になる」だとか「30％効率化できる」というくらい大きな問題を見つける必要があるとハッターブ氏。ただし、研究は大きな成果が得られるまで発表してはいけないというわけではなく、こまめに成果を論文として発表することで、大きな問題に取り組みながら論文を書くことができるようになるとハッターブ氏は記しました。

◆3：2歩先を考えて素早く反復する
取り組むべき問題が見つかったら、すぐに簡単に解決できる方法を取ろうとする衝動を抑え、2歩先を見据えることが重要であるとハッターブ氏。

ハッターブ氏の開発した「ColBERT」を例にすると、BERTを使用して効率的なリトリーバーを構築する明白な方法は、ドキュメントをベクトルにエンコードすることでした。2019年後半まで、これを行う研究は限られており、このカテゴリで最も引用されている最初のプレプリントがリリースされたのは2020年4月になってからです。これらの背景を考慮すると、2019年時点で行うべき正しい研究は、BERTを介して優れた単一ベクトルモデルを構築することだったと考えるかもしれません。しかし、2歩先を考えると、「遅かれ早かれ誰もが単一ベクトルモデルの構築に思い至るものの、単一ベクトルモデルへのアプローチは根本的にどこかで行き詰まる可能性がある」という考えに行き着くとハッターブ氏。実際、この疑問からColBERTの着想を得ることができたとハッターブ氏は記しています。

そして、素早く反復してフィードバック(レイテンシや検証スコアなど)を得られる問題のバージョンを特定することで、難しい問題を解決できる可能性が大幅に高まるとハッターブ氏は語りました。

◆4：自分の作品を世に出し自分のアイデアを広める
良い問題を特定し、その後、面白いものを発見して洞察力のある記事を作成するまで繰り返し作業を行ったとします。次に論文を作成するのではなく、自分の研究成果を世に出すことに焦点を当てるべきとハッターブ氏は主張しました。

一般的な研究の場合、最初のステップは論文をプレプリントとしてarXivで公開し、その後、インターネット上で論文の公開を告知します。これを行う時、具体的で実質的でわかりやすい主張で始まるようにすべきとハッターブ氏。目標は、論文を公開したことを人々に伝えることではなく、人々が同意または反対できる具体的な声明の形で、直接的で脆弱(ぜいじゃく)でありながら魅力的な方法で、主要な議論を伝えることであると主張しました。

より重要なのは、このプロセス全体が最初の「発表」で終わるわけではないということです。論文だけでなくプロジェクトに投資するようになった今、あなたのアイデアや科学的なコミュニケーションは、論文の発表をはるかに超えて、1年間にわたって持続します。例えば大学院生が自分の研究についてSNSなどに投稿しても、最初の投稿が期待したほど注目を集めないことは珍しくありません。学生は通常、これが自分の研究について投稿することへの恐怖の根拠であると考え、次の論文に進むべきであるという兆候だと受け止めがちです。しかし、これは「正しい判断ではない」とハッターブ氏。

多くの個人的な経験、間接的な経験、観察から、この部分での粘り強さは非常に役立つことがわかったとハッターブ氏は語っています。いくつかの例外はあるものの、優れたアイデアを広めるには、さまざまな状況で重要なことを何度も人々に伝え、自分の考えやアイデアの伝達を進化させ、時間をかけてコミュニティがアイデアを吸収できるように、あるいは分野が適切な開発段階に進化して、これらのアイデアを評価しやすくなるまで根気強く取り組みを続ける必要があるとのこと。

◆5：構築した興奮をうまく伝える
アイデアに関連する下流のアプリケーションに導くオープンソースの成果物をリリースし、貢献し、成長させることで、より大きな影響を与えることができます。これは簡単なことではありません。README付きのコードファイルをGitHubにアップロードするだけでは不十分です。しかし、優れたリポジトリは公開する個々の論文よりもプロジェクトの「ホーム」になり得ます。

優れたオープンソース研究には、2つのほぼ独立した特性が必要です。ひとつが優れた研究、つまり斬新で、タイムリーで、適切に範囲指定された研究です。もうひとつが明確なダウンストリームユーティリティと低摩擦です。人々は常に「間違った」理由で、あなたのオープンソースソフトウェを繰り返し避けます。例を挙げると、あなたの研究は客観的に「最先端」であるかもしれませんが、人々は10回9回はより摩擦の少ない代替手段を優先します。逆に、大学院生であるあなたにとっては的外れな理由、例えば、最も革新的なコンポーネントを十分に活用していないなどの理由で、あなたのツールを使用することもあります。これらを理解し、土台にすべきであるとハッターブ氏。

ハッターブ氏はオープンソースの研究を拡大するためのマイルストーンとして、以下の7つを挙げました。

・リリースを使えるようにする
誰も実行できないコードをリリースしても意味がありません。リリースは、あなたの研究をベースラインなどとして使用しようとしている他の研究者が使えるものとすべきです。他の研究者とは、あなたのリリースを再現し、引用したいと思っている同じ分野の研究を進めている人々のはず。これらの人々は、他の種類のユーザーよりも忍耐強いものです。そのため、コードをいじるのがどれだけ簡単かによって、学術的影響に劇的な違いが見られるはずだとハッターブ氏は記しました。

・リリースを有用なものにする
狭い分野の人だけでなく、実際にプロジェクトを使用して何か他のものを構築したいユーザーにとってもリリースが有用なものとなるべきです。このマイルストーンは、AI研究で自然に達成されることはほとんどありません。成果物が役立つ可能性のある、人々が解決しようとしている問題(研究、生産など)について考えるために十分な時間を割く必要があります。これを正しく行うことで、その効果の多くが、プロジェクト設計から公開するAPIやドキュメントまで、さまざまなものに反映されます。

・リリースを親しみやすいものにする
技術的に利用可能なリリースや便利なリリースは、そのほとんどが学習したり試したりするのに十分な親しみやすさを持ち合わせていないことを認識する必要があるとハッターブ氏。

・明らかな代替案が失敗する理由を立証し、忍耐強く取り組む
ほとんどの人は、まだはっきりと観察できない問題に対してなぜ解決策を採用する必要があるのか​​理解できません。時間をかけてその立証を積み重ねていくことが、あなたの仕事の一部となります。証拠を集め、明らかな代替案では失敗する理由をわかりやすく伝える必要があるとハッターブ氏。

・ユーザーにカテゴリがあることを理解し活用する
ColBERTとDSPyの開発を始めた時、ハッターブ氏が最初に求めていたのは研究者と熟練した機械学習エンジニアだったそうです。しかし、時が経つにつれて、ハッターブ氏はその考えを捨て、はるかに大きなユーザーにリーチできるが、彼らには異なるものが必要であると理解することができたそう。何よりもまず必要なのは、間接的または直接的に、さまざまな潜在的なユーザーカテゴリをブロックすることを止めることだそうです。

・関心を成長するコミュニティに変える
オープンソースソフトウェアの取り組みの真の成功は、コミュニティの存在と、あなたの取り組みとは無関係に起こる成長にあります。優れたコミュニティは一般的に有機的であるべきですが、貢献や議論を歓迎し、関心を貢献を何らかのディスカッションフォーラム(DiscordやGitHubなど)に変える機会を探すなど、コミュニティの形成を支援するために積極的な努力をする必要があるとハッターブ氏は記しました。

・関心をアクティブで協力的なモジュール式の下流プロジェクトに変える
初期段階のオープンソースソフトウェアプロジェクトでは、ビジョンのすべての要素が解決されていません。適切に設計されたプロジェクトには、多くの場合、複数のモジュール部分があり、新しいチームメンバーがプロジェクトを進めるだけでなく、プロジェクトの重要な部分を所有し、その結果、アイデアをより速く、より大きく実現しながら、プロジェクト全体を大幅に改善できる研究コラボレーションを開始できます。

◆6：新しい論文を通じてプロジェクトへの投資を継続する
ひとつのプロジェクトを通してひとつの論文を発表するのではなく、ひとつのプロジェクトに取り組みながら関連する論文を複数発表することが重要であるとハッターブ氏。実際、ハッターブ氏が開発したColBERTでは10本ほどの論文が発表されており、トレーニング方法の改善やメモリフットプリントの削減、検索インフラストラクチャーの高速化、ドメイン適応の改善、下流の自然言語処理タスクとの整合性の向上に関する論文を別個に発表したそうです。