小型モデル「LFM2.5」を2倍以上高速化する投機的デコーディング技術DSpark適用版が登場

AI企業のLiquid AIが小型モデルのLFM2.5シリーズに高速化技術の「DSpark」を適用したことを発表しました。DSpark適用版のモデルは性能を維持したまま2倍以上の高速化に成功しています。

LFM2.5-DSpark: Up to 3.2x Faster Inference from H100 to MacBook — Blog — Liquid AI
https://www.liquid.ai/blog/lfm2.5-dspark

LFM2.5はスマートフォンやノートPCといった演算能力の限られたデバイスでも動作するように設計された小型のAIモデルです。デバイスに合わせて複数のパラメーター数で展開されているほか、日本語に特化したモデルも公開されています。

日本語特化の小型AIモデル「LFM2.5-1.2B-JP」を含むオンデバイス重視のオープンモデル「LFM2.5」シリーズが登場 - GIGAZINE

Dsparkは「投機的デコーディング」と呼ばれるAI高速化技術の一種です。AIモデルは「次のトークンを予測する」という動作を繰り返して文章やコードを出力しています。Dsparkはメインのモデルとは別に「ドラフトモデル」を用意し「ドラフトモデルで次のトークンの候補を高速生成してメインモデルで採用・非採用を決定する」という仕組みで生成処理を高速化します。Dsparkは「高速化する代わりに精度が劣化する」というタイプの手法ではなく、「高速化しつつ、精度は完全に維持できる」というのも強みです。

Liquid AIは「LFM2.5-1.2B-Instruct」「LFM2.5-2.6B」「LFM2.5-8B-A1B」の3種を対象にドラフトモデルを作成しました。ドラフトモデルのパラメーター数はLFM2.5-1.2B-Instructが2億9570万、LFM2.5-2.6BとLFM2.5-8B-A1Bが3億2770万です。

LFM2.5-2.6BにDsparkを適用すると、H100では2.67倍、M4 Max搭載MacBook Proでは2.27倍の高速化を達成しました。M4 Max搭載MacBook Proの場合は、LFM2.5-1.2B-Instructでは2.54倍、LFM2.5-8B-A1Bでも1.18倍の高速化に成功しています。

Dspark適用版のモデルは以下のリンク先で配布されています。

LiquidAI/LFM2.5-2.6B-DSpark · Hugging Face
https://huggingface.co/LiquidAI/LFM2.5-2.6B-DSpark

LiquidAI/LFM2.5-1.2B-Instruct-DSpark · Hugging Face
https://huggingface.co/LiquidAI/LFM2.5-1.2B-Instruct-DSpark

LiquidAI/LFM2.5-8B-A1B-DSpark · Hugging Face
https://huggingface.co/LiquidAI/LFM2.5-8B-A1B-DSpark

Liquid AIのピョートル・マズレック氏氏は「投機的デコーディングはFableレベルの知能を圧縮してスマホで実行可能にするための重要なパーツです。今回の成果は第一歩です」と述べ、今後の性能向上に期待を示しています。