無料でローカルAIに再試行を促す機能・ステップの強制・エラー回復・VRAMを考慮したコンテキスト管理などのガードレールを追加できる「forge」

一般的にAIモデルは常に100%の正解を出力するわけではありません。それっぽい嘘をつくハルシネーションは有名ですが、それ以外にも複数ステップの処理途中でタイムアウトやループを引き起こすリスクが知られています。「forge」はセルフホスト型LLMに対して再試行を促すといった「ガードレール」を適用することによりモデルの精度を向上させることのできる信頼性レイヤーです。

antoinezambelli/forge: A Python framework for self-hosted LLM tool-calling and multi-step agentic workflows
https://github.com/antoinezambelli/forge/tree/main

forgeはPython製のフレームワークであり、forgeにツールセットを指定することによりセルフホスト型LLMは必要なツールを任意の順序で呼び出すことができます。ワークフローの構造はオプトイン方式であり、「必須ステップ」「前提条件」「ターミナルツール」を指定することにより必要に応じてループを制限できます。さらにforgeの「ガードレール」(レスキュー解析・リトライ促進・レスポンス検証)は必須ステップが0である場合にも適用されます。

「26のシナリオで構成されるforge v0.7.0評価スイート」によるスコア計測によると、8B規模のローカルLLMでは本来のスコアが10％未満だったところforgeを使用することにより84%にまで向上し、Claude Sonnet 4.6でも85%から98%にまで向上したとのこと。

forgeはバックエンドとして以下のローカルLLMをサポートします。

また、forgeは目的や用途に応じて3タイプの使用法があります。

・プロキシサーバー：クライアントとローカルモデルサーバーの間に配置することで、クライアントはよりスマートなモデルと通信しているように認識する
・ワークフローランナー：ツール定義・バックエンド選択・構造化エージェントループの実行を通じ、forgeがライフサイクルを全体的に管理する
・ガードレールミドルウェア：ループの制御はユーザーが行い、forgeは信頼性スタックとして応答の検証・不正なツール呼び出しの救出・必須ステップの強制を行う

forgeは導入の敷居が高いものの、適切に使用することでローカルLLMの信頼性を大幅に向上させることができるので、日常的にローカルLLMを使用している人は是非チェックしてみてください。