AIの検索を強化する「RAG」をシンプルに始めて高度化する6つの方法

ChatGPTのような大規模言語モデル(LLM)に外部の文書を検索させ、見つけた情報を基に回答を作らせる仕組みが「検索拡張生成(RAG)」です。Hugging FaceやDatabricksでの勤務経験を持つAIエンジニアのラファエル・ピエール氏が、RAGを単純な全文検索から始めて段階的に高度化する6つの方法を紹介しています。

6 RAG Architectures — and How to Avoid Over-Engineering
https://www.lighthousenewsletter.com/p/rag-is-simpler-than-you-think

LLMは社内マニュアルや学習後に公開された最新情報などをあらかじめ知っているわけではありません。そこで質問に関係する文書を検索し、見つかった内容をLLMへ渡して回答させるのがRAGです。

RAGを作る方法は複数あるため、ピエール氏は最初から複雑なシステムを用意するより、実際の検索結果や利用状況を見ながら必要に応じて構成を高度化する方法を勧めています。

1：全文検索
1つ目は「全文検索」です。入力された単語を文書内から探す一般的な検索方法で、製品名や型番、エラーコードなど検索したい言葉が明確な場合に向いています。特別なAI向けデータベースを用意する必要もありません。

2：クエリリライト
全文検索だけでは「車」と「自動車」のような意味の近い言葉をうまく結び付けられない場合があります。そこで2つ目の方法では、LLMに検索語を書き換えさせます。「プログラムを速くしたい」という質問を「高速化」「最適化」などの検索しやすい言葉へ変換し、既存の全文検索を活用しやすくします。

3：ハイブリッド検索
3つ目は全文検索と意味検索を組み合わせる「ハイブリッド検索」です。まず文字の一致で候補を絞り、その後で文章同士の意味の近さを調べて順位を付け直します。文章の意味を数字の集まりへ変換する「埋め込み」という技術を使うことで、表現が違っていても内容の近い文書を探しやすくなります。

意味検索を取り入れると、次に考える必要があるのが「文書をいつ埋め込みへ変換するか」です。

4：オンデマンド埋め込み
すべての文書をあらかじめ埋め込みへ変換しておく方法もありますが、ニュースや問い合わせ履歴のように更新が多いデータでは準備や更新の手間が増えます。そこで検索で見つかった候補だけをその場で埋め込みへ変換するのが「オンデマンド埋め込み」です。検索時の処理は増えるものの、事前準備の負担を大幅に減らせます。

5：ホット／コールド階層
5つ目は、よく検索される文書だけをあらかじめ処理しておく方法です。利用頻度が高い文書は事前に埋め込みへ変換し、あまり使われない文書は必要になった時だけ埋め込みへ変換します。検索速度を保ちながら事前処理の手間を抑えるための中間的な構成です。

6：事前埋め込み
6つ目は、すべての文書を事前に埋め込みへ変換して「ベクトルデータベース」と呼ばれる仕組みに保存する方法です。大量の文書から意味の近い情報を素早く探せるため、検索回数が非常に多く文書の更新が少ないサービスに向いています。一方で文書が更新されれば該当部分の再処理が必要になり、埋め込みモデルを変更する際には大量の文書を処理し直す場合があります。

つまりRAGは最初からベクトルデータベースを用意しなければ成立しない仕組みではなく、全文検索から始めて必要に応じてクエリリライトや意味検索を追加することが可能というわけ。埋め込みの方法もデータの更新頻度や利用規模に合わせて選択可能です。

ピエール氏は「80：20の法則」になぞらえ、RAGシステムの60％は全文検索とクエリの書き換えで十分で、25％はオンデマンド埋め込みなどを使ったハイブリッド構成、10％は全文書の事前埋め込み、残る5％だけが独自の高度な仕組みを必要とするとの目安を示しています。こうした割合は調査結果ではなくピエール氏の経験に基づくものですが、RAGを構築する際は必要以上に複雑な仕組みを最初から用意する必要はないとのこと。ピエール氏は「60％の問題に対して、5％のケースでしか必要とされない解決策を作る人になってはいけません」と述べています。