2026年08月04日 12時52分 AI

Cloudflareが大型AIモデルの高速推論サービスを展開するための効率化手法を公開

CloudflareはオープンなAIモデルを用いた推論サービス「Workers AI」を展開しています。このCloudflare Workers AIで活用しているAIの推論効率を向上する手法を解説する記事がCloudflareの公式ブログに掲載されています。

Smaller, faster, safer: running Kimi and GLM at scale | The Cloudflare Blog
https://blog.cloudflare.com/smaller-faster-safer-models/

Cloudflare Workers AIではMoonshot AIのKimiシリーズやZ.aiのGLMシリーズといった大型のAIモデルを展開しています。大型のAIモデルはメモリを大量に消費してしまうため、高速な推論サービスを展開するには消費メモリを削減する対策が不可欠です。

Workers AI Models · Cloudflare Workers AI docs
https://developers.cloudflare.com/workers-ai/models/

Cloudflareが実施している消費メモリ削減手法の1つが「量子化」です。GLM-5.2の場合、INT4に量子化して推論サービスを展開しています。FP8版GLM-5.2のファイルサイズは705GBですが、INT4版では421GBにまで削減されます。

一般的にAIモデルは計算精度を下げるほど性能が下がるとされていますが、CloudflareによるとINT4版GLM-5.2に目立った性能の低下は見られないとのこと。FP8版GLM-5.2とINT4版GLM-5.2のベンチマーク結果は以下の通りで、INT4に量子化してもFP8と比べて性能低下が抑えられていることが分かります。

ベンチマーク	指標	FP8	INT4
GSM8K	Exact match	94.39％	93.56％
GSM8K	Flexible	94.24％	93.48％
ARC-Easy	Accuracy	86.62％	86.15％
ARC-Easy	Acc (norm)	84.51％	85.19％
ARC-Challenge	Accuracy	64.93％	64.85％
ARC-Challenge	Acc (norm)	67.24％	66.64％
MMLU	Average	86.60％	86.54％
MMLU-Pro	Exact	80.80％	80.47％
mcxams (internal benchmark)	Passed	62/63	62/63

デコード時にはモデルの重みをGPUメモリから読み出す必要があるため、モデルのサイズが小さいほど処理速度が向上します。このため、FP8版GLM-5.2よりINT4版GLM-5.2の方が高速な処理が可能です。なお、最初のトークンを出力するまでのプリフィルにおいてはFP8版の方が高速とのこと。

同時リクエスト数	FP8(tok/s)	INT4(tok/s)	差
1	60	92	+55％
8	425	513	+21％
16	683	825	+21％
32	994	1267	+27％
64	1672	1933	+16％

CloudflareはKVキャッシュの量子化も実施しています。KVキャッシュは計算済みの内容を保存しておくことで同じ内容の再計算をスキップして高速化する技術です。推論エンジン「SGLang」ではKVキャッシュを通常BF16で保存しますが、CloudflareはKVキャッシュをFP8に量子化することでメモリに保存できるKVキャッシュの量を増やしています。Kimi K2.6の場合、メモリに保存できるコンテキストの量が約68万6000トークンから約137万トークンへと増加します。

KVキャッシュを量子化すると読み込みに必要な処理が増えて処理速度がわずかに低下します。リクエスト数ごとの処理速度をまとめた表が以下。KVキャッシュをFP8に量子化すると処理速度がわずかに低下しますが、BF16より多くのリクエストを同時に扱うことができます。