UnslothがAIの性能をなるべく維持しつつ省メモリ化する次世代量子化手法「Unsloth Dynamic 3.0 GGUF」を開発

UnslothUnslothはAIモデルの量子化に取り組んでいる企業で、GoogleやAlibabaなどのAI企業がオープンモデルを公開すると数日以内にUnslothによる量子化版が公開されるのが恒例となっています。そんなUnslothが新たな量子化手法「Unsloth Dynamic 3.0 GGUF(以下Dynamic 3.0)」を開発し、その詳細を公開しました。Dynamic 3.0は既にQwen3.8-27Bに適用されており、性能の低下を抑制しつつメモリ使用量を削減することに成功しています。

Unsloth Dynamic 3.0 GGUFs | Unsloth Documentation
https://unsloth.ai/docs/basics/dynamic-3.0-ggufs

Unsloth Dynamic 3.0 GGUF | Unsloth Documentation
https://unsloth.ai/docs/jp/ji-ben/dynamic-3.0-ggufs

AIモデルの量子化は「演算精度を落とす代わりにモデルのファイルサイズを削減してメモリ使用量を少なくする」という仕組みであり、量子化モデルは元のモデルと比べて性能が劣化してしまいます。このため、性能をできるだけ維持しつつファイルサイズを削減する手法の開発が進んでいます。UnslothのDynamic 3.0は従来のDynamic 2.0と比べて性能を高く維持できるようになりました。

以下のグラフはQwen3.8-27Bの量子化精度ごとのファイルサイズと性能を示したものです。緑色の線がDynamic 3.0による量子化モデルの結果で、精度を落とした際の性能低下を抑えられていることが分かります。

Dynamic 3.0の根幹をなすのは改良された手法と新機能です。代表例として、多様なソースから収集されエージェントコーディング・チャット・多言語性能の向上のために最適化されたimatrixキャリブレーションデータセットが採用されています。さらに、レイヤー選択の改善やモデル品質の維持を目的として様々な量子化技術が導入されました。特筆すべきは、量子化を考慮した事前学習「QAT(Quantization Aware Training)」や量子化後にオリジナルモデルから知識を蒸留する「QAD(Quantization Aware Distillation)」といった新しい技術を使用せず、従来型のポストトレーニング量子化(post-training quantization：PTQ)のみが行われている点です。imatrixファイルはコミュニティによるテスト・評価・利用が可能であり、研究者や開発者はimatrixキャリブレーションデータセットを用いてQwen3.8のバリエーションやファインチューニングを作成することが推奨されています。

Qwen3.8-27BをDynamic 3.0で量子化することによりディスク容量についても削減されました。UD-Q2_K_XLの小さい量子化モデルではMTPモジュールを削除することにより約500MBのディスク容量が削減されました。必要に応じてQ4_0のMTPモジュールを使用することも可能です。さらに、UD-IQ1_Sのような小型のUD-1bit量子化モデルも開発されており、MTPなしで6.2GBというサイズながら約72%のTop-1精度を維持しつつ89%のサイズ削減を実現しています。UD-Q2_K_XLはTop-1精度で次点のモデルと比較して約8%高いにもかかわらず9.83GBのサイズに抑えており、以前は壊れたウェブアプリしか作れなかった条件で軽微なJavaScriptのバグを含みながらも実働するアプリを作成可能になりました。

評価指標の進化も見逃せない要素です。従来から機械学習モデルの精度評価に使われるTop-1精度は単一の予測に対するargmaxであり実際の推論能力を正確に測るには限界がありました。そこでUnslothはTerminal-Bench 2.1・DeepSWE・Harbor・MathArena 2025-26・非ラテン文字・長文プロンプトなどからキャリブレーションデータセットには含まれない300のホールドアウト例で構成されるデータセットを作成し、BF16と全量子化モデル間で32トークンの「貪欲な」argmaxデコーディングを実施しています。「Divergence-300 @32」と命名されたこの指標は、過学習の有無や量子化された出力が複数のトークンにわたるBF16の軌跡とどれだけ類似しているかを評価するのに役立ちます。つまりTop-1精度を32トークンに拡張した KL Divergenceのようなものであり、Top-1精度よりも実用的な評価方法と言えます。

以下のグラフはQwen3.8-27Bを様々な量子化モデルを用いてDynamic 3.0で量子化して「Divergence-300 @32」の結果を図示したものですが、よく確認するとUD-Q2_K_XLからUD-IQ2_Sへの移行で精度が約25%から8～10%へと急激に低下することが見て取れます。精度の低下はツール呼び出しや非思考モードの機能不全につながるため、1ビット量子化はエージェント用途には推奨できないとのこと。

低精度量子化版のQwen3.8-27Bを使用する際の主な問題点および緩和策は以下の通りです。

・過剰なループ：UD-Q2_K_XL未満の量子化モデルではループが多発する傾向があります。この場合、常に「presence_penalty = 1.5(またはそれ以上)」を使用することが推奨されます。
・空の応答：1ビット量子化モデルでは、少なくとも低レベルの推論で常に思考モードを有効にすることが推奨されます。非思考モードではモデルが応答を生成しないことがあります。
・エージェントのユースケース・ツール呼び出し：モデルをツール呼び出しに使用することは推奨されません。高度に量子化されたモデルでは一般的な知識のみが保持され、「ツール呼び出しに失敗」「呼び出しの繰り返し」「全く呼び出さない」といった現象が発生する可能性があります。一般的な知識に関する短い質問には使用できますがUD-Q2_K_XLを使用するのが最善です。

Unslothは全プロバイダーに対してKL Divergenceベンチマークも実施し、Top-1精度とKL Divergence平均を報告しています。Dynamic 3.0によるQwen3.8-27Bの量子化に関するデータでは、特に小さい量子化サイズでは同じディスク容量で最大10%のTop-1精度向上を実現しています。ただしより大きなモデルではまだ改善の余地があるとのことです。

過学習の抑制については、キャリブレーションデータセットとテストデータセットを完全に分離し、リークを可能な限り排除することで実現しています。KL Divergenceテストをこれらの未見データセットに対して実行したところ、QAD/QATを使用しない純粋なPTQであるため、他のQAD/QATアプローチと比較して過学習のリスクは低いとのこと。また「Divergence-300 @32」もDeepSWE・Terminal Benchなどから得られた300のプロンプトで構成される未見データセットを使用しているためDynamic 3.0の手法が過学習しないことを示すもう一つの指標となっています。