NVIDIAが重たいAI処理を同一ネットワーク内のPCに割り振れる無料ツール「PAIR」を公開

「Ollama」や「LM Studio」といったツールを使って、ローカル環境でAIに推論タスクを実行させるにあたり、ネットワーク上にいる互換性のあるPCを検出して接続し、連携してタスクに参加させることができる仮想推論ルーター「PAIR(Personal AI Router)」をNVIDIAが公開しました。

NVIDIA PAIR Virtual Inference Router Expands Available Compute on Your Local Network | NVIDIA Technical Blog
https://developer.nvidia.com/blog/nvidia-pair-virtual-inference-router-expands-available-compute-on-your-local-network/

Nvidia launches free tool that links idle computers into a personal AI data center | The Verge
https://www.theverge.com/ai-artificial-intelligence/989435/nvidia-pair-personal-ai-router-home-local-llm-compute-tool-rtx-macbook

AIエージェントは、複雑なタスクを小さなジョブに分割してそれぞれ専門のサブエージェントに割り当てることができます。直近ではユーザーが複数のAIエージェントを同時に実行することも増え、複雑なタスクを達成するためのマルチエージェントワークフローも一般的になってきています。こうしたワークフローではタスクを完了するまでにかかる時間が短くなり、応答品質も向上しますが、一方で多くのリクエストが同時にGPUに送られるため、システムのボトルネックになる可能性もあります。

このマルチエージェントとサブエージェントのボトルネックを軽減するのが「NVIDIA PAIR」です。

LLMをローカル環境で実行するOllamaやLM Studioは、選択したマシン上でモデルを実行します。PAIRはネットワークに参加している他のPCを検出し、要件を満たしている場合にジョブを割り当てます。また、応答があった場合、発信元に返します。

接続イメージは以下のような感じで、PAIRはプロキシを通じてリクエストを受信し、エンジンとモデルの要件を特定して、適切なノードを選びます。ノードは当該リクエストを実行したのち、応答をPAIRに返します。AIエージェント側からノードを選ぶ必要はなく、リクエストを送ればあとはPAIRが処理してくれるというわけです。

特徴として、PAIRのプロキシはOllama・LM Studioと互換性があるので新たなAPIを必要としません。また、ジョブを割り当てる必要がないときには適宜、不要なノードの電源をオフにしたり休止状態にしたりしてくれます。

AIエージェント「Hermes Agent」をGUIで管理できる「Hermes Desktop」とOllama、PAIRを利用し、5つのサブエージェントを実行したデモ映像が公開されています。PAIRがルーティングを行い、OllamaはPAIRが選択したノードでそれぞれのリクエストを実行しています。

NVIDIA PAIR: Hermes 5-Subagent Demo - YouTube

アリババのオープンモデル「Qwen 3.6-35B-A3B」を使用して5つのサブエージェントのワークロードが完了するまでの時間を計測した場合、RTX Spark搭載PC＆DGX Spark(ワークステーション)＆RTX 5090搭載PCの3端末をPAIRでクラスターにして処理すると平均8分48秒でしたが、RTX Spark搭載PC1台だと平均18分かかっていて、大幅な時間短縮がみられたとのこと。

PAIRの動作要件は、OSがWindows 11、DGX OS、Ubuntu 14.04、macOS Tahoeで、GPUはGeForce RTX(20シリーズかそれより新しいもの)かDGX Spark・DGX Spark GB10、Mac M4かそれより新しいものであること。メモリは最低8GB、空き容量は最低20GBで、ネット環境はモデルのダウンロードに必要ですが動作そのものには不要だとのことです。

Personal AI Router for Local Inference | NVIDIA PAIR
https://www.nvidia.com/en-us/ai-on-rtx/personal-ai-router/