ComfyUIのテキスト生成速度が2倍に向上、ツリー型MTPやカーネル最適化によりLLMやVLMの実行を高速化しプロンプト強化などで威力を発揮

ComfyUIの主な用途は画像生成や動画生成ですが、プロンプトの品質向上や動画ストーリー作成などに対応するためにLLMやVLMによるテキスト生成もサポートしています。ComfyUIではバージョン0.40.0から0.45.0にかけてテキスト生成処理の最適化が進められ、従来の2倍以上の生成速度を達成しています。

Doubling LLM token rates in ComfyUI - by rattus128
https://blog.comfy.org/p/doubling-llm-token-rates-in-comfyui

画像生成AIや動画生成AIの性能向上によってプロンプトで生成内容を細かくコントロールできるようになった一方で、「詳細な指示を人力で書くのは面倒」「各AIの得意とするプロンプト構造に合わせてプロンプトを記述するのが難しい」といった問題も生じるようになりました。こうした問題を解決するべくComfyUIの公式ワークフローや有志ワークフローでは「ユーザーの入力テキストや入力画像をLLMやVLMで読みとり、適切な形式のプロンプトを生成してから画像・動画生成AIに渡す」という仕組みの採用例が増えています。このため、ComfyUIには画像・動画生成の速度向上だけでなくテキスト生成の速度向上も求められています。

ComfyUIでは特にQwen3.5シリーズとQwen3.8シリーズに対する最適化が行われており、バージョンアップに伴って速度が向上しています。以下のグラフはバージョン0.40.0とバージョン0.44.0のテキスト生成速度を比べたもので、RTX 5090では「Qwen3.5 9Bで2048トークンのテキストを生成する」「Qwen3.8 27Bで1536×1536ピクセルの画像を読みとり、4096トークンのテキストを生成する」といったタスクで速度が2倍以上に向上しています。

速度向上の大きな要因の1つがツリー構造のMTPアルゴリズムです。MTPはテキスト生成時に小型のドラフトモデルを用いて続きのトークンを予測しておく仕組みです。従来のComfyUIでは「ドラフトモデルでの予測が完了したら次のトークンを予測する」というチェーン構造のMTPアルゴリズムを採用しており、予測が外れていた場合は大部分が無駄になっていました。アップデートによって「1つの分岐だけを深掘りするのではなく、複数の分岐の予測を処理する」というツリー構造のMTPアルゴリズムが実装されて無駄の少ない処理が可能となりました。

ツリー構造のMTPアルゴリズムを使うには、「Generate Text」ノードの「mtp」の欄を「auto」に設定すればOKです。

また、ComfyUIの公式ワークフローでは「W4A8」という形式の量子化モデルを採用し、W4A8量子化モデルの処理を効率化するために線形カーネルが最適化されました。さらに、画像や動画の生成処理に使われていた高速なアテンション機構である「Comfy-Kitchen attention」がテキスト生成でも利用可能となりました。

上記の改善はWindowsとLinuxに対応しており、NVIDIA製GPUおよびAMD製GPUで効果を発揮します。Comfy-Kitchen attentionを使うにはComfyUIの起動オプションに「--use-ck-attention」を加えればOK。その他の改善はComfyUIをアップデートすることで自動的に適用されます。