無料でJev互換の小型高速意思決定モデル「Jeff」、ローカル環境で約22～28ミリ秒と爆速

ChatGPTの共同開発者であるがディオゴ・アルメイダ氏がCEOを務めるTypeSafe AIが開発した、意思決定モデルの「Jev」と同じように、リクエスト形式でコードに組み込むことができる小型の意思決定モデルが「Jeff」です。RTX PRO 6000の場合は1回の意思決定当たり約22ミリ秒、 AppleのM4 Maxの場合は1回の意思決定当たり約28ミリ秒で動作可能です。

GitHub - firelex/jeff: Fine-tunes of Qwen3.5 and Gemma 4 for zero-shot classification · GitHub
https://github.com/firelex/jeff

Jevと同じリクエスト形式でコードに組み込むことができるという、小型で高速な意思決定モデルが「Jeff」です。ゼロショット分類を用いることで、分類項目ごとのトレーニングなしでも選択肢の中から答えを選ぶことが可能とアピールされています。

ローカル環境で動作可能な小型モデルであり、パラメーターサイズ8億のモデルならRTX PRO 6000搭載PCで1判断当たりわずか22ミリ秒、M4 Max搭載Macでも1判断当たりわずか28ミリ秒で意思決定を行うことが可能。

Jeffは「Qwen3.5 0.8B」「Qwen3.5 2B」「Gemma 4 E2B」をベースに追加学習した3種類が存在。コードはMITライセンス、モデルの重みはApache 2.0で公開されています。

mstrasser/Jeff-Qwen3.5-0.8B · Hugging Face
https://huggingface.co/mstrasser/Jeff-Qwen3.5-0.8B

mstrasser/Jeff-Qwen3.5-2B · Hugging Face
https://huggingface.co/mstrasser/Jeff-Qwen3.5-2B

mstrasser/Jeff-Gemma4-E2B · Hugging Face
https://huggingface.co/mstrasser/Jeff-Gemma4-E2B

Jevのトレーニングは1台のRTX PRO 6000を搭載したワークステーション上で行われており、パラメーターサイズ8億のモデルの場合はトレーニングにかかる時間が約2時間、20億のモデルでも約3時間半です。

トレーニングデータは2台のDGX Spark上で動作するオープンモデルのQwen3.8-Flash-Nextで書き込まれており、テストはMacBookで行われました。クラウドGPUは使用しておらず、トレーニングデータにクローズドモデルの出力は含まれておらず、クローズドモデルはトレーニングデータのサンプル品質チェックにのみ利用されています。

以下のグラフは、Jevと3種のJeffを複数のベンチマークで比較した結果をまとめたもの。実行したベンチマークは、高度な論理推論能力や多段階の思考能力を測定するベンチマークの「BIG-Bench Hard(BBH)」、金融および経済テキストの感情分析能力を測定するためのベンチマーク「Financial PhraseBank」、AIの能力を客観的かつ厳格に測定するためのベンチマーク「JudgeBench」、AIのハルシネーション(幻覚)をどれだけ正確に検知できるかを測定するベンチマーク「RAGTruth」、常識的な推論能力を測定するためのベンチマーク「WinoGrande」、Jevの開発元であるTypeSafe AIが作成した意思決定モデル向けのベンチマークである「JevBench」です。「Overall」は「JevBench」以外の5つのベンチマークをまとめた総合評価をスコア化したもの。

ベンチマークの種類によっては、JeffはJevに匹敵するパフォーマンスを発揮しています。ただし、JeffのREADMEでは「Jevはより大きなモデルで動作するため、推論パフォーマンスでは及びません」と説明されており、Jeffが推論を行わないという点が強調されています。また、「小型モデルは迅速かつ的確に意思決定を行うためのものです。このくらいのパラメーターサイズのモデルはどれも多段階の推論を期待すべきではありません」とも記しました。

この他、パラメーターサイズが20億のモデルは、8億のモデルよりもゲームをプレイする際の意思決定パフォーマンスが劣っており、これは「リスク回避傾向が強いため」と開発者は説明しています。ただし、この点についてはさらなる調査が必要とも説明しました。

なお、JeffはJevとの互換性がアピールされていますが、Jevの開発元であるTypeSafe AIとは一切関係がなく、同社による承認も受けていません。トレーニングコードはオープンソースのAutoJevをベースに作成されています。

Jevのような意思決定モデルは他にも登場しており、Qwen3.5およびQwen3.8をベースに作成された意思決定モデルの「Kev」なるものも登場しています。

GitHub - jaredpalmer/kev: Jev-like family of decision models built on top of Qwen3.5/3.8 you can train and run on your own · GitHub
https://github.com/jaredpalmer/kev