NVIDIAが従来のほぼ半額でAI性能が1.7倍になった小型AIボード「Jetson Orin Nano Super」開発者キットを発表

NVIDIAが開発者向けの小型AIボードキット「Jetson Orin Nano Super」開発者キットを発表しました。従来モデルと比較してAI性能が最大で70％向上しており、価格も従来モデルの499ドル(約7万6000円)から249ドル(約3万8000円)とほぼ半額に抑えられています。

Jetson Orin Nano Super Developer Kit | NVIDIA
https://www.nvidia.com/en-us/autonomous-machines/embedded-systems/jetson-orin/nano-super-developer-kit/

NVIDIA Unveils Its Most Affordable Generative AI Supercomputer | NVIDIA Blog
https://blogs.nvidia.com/blog/jetson-generative-ai-supercomputer/

以下のムービーで、NVIDIAのジェンスン・フアンCEOがJetson Orin Nano Superを紹介しています。

Introducing NVIDIA Jetson Orin™ Nano Super: The World’s Most Affordable Generative AI Computer - YouTube

撮影場所は、これまでグラフィックボードやチップの発表が行われてきたフアンCEOの別邸にあるキッチン。クリスマスの飾り付けが行われています。

フアンCEOがオーブンからトレイを取り出します。

トレイに乗っていたのは、Jetson Orin Nano Superのボードでした。

Jetson Orin Nano Superは生成AI、ロボット工学、画像・映像認識のスキル開発に関心のある開発者向けのボード。前世代製品の生成AI推論パフォーマンスが40TOPS(INT8)だったのに対し、今回発表されたJetson Orin Nano Superは67TOPS(INT8)と、70％向上しているとNVIDIAはアピールしています。

また、「生成AIモデルのパフォーマンス向上はTOPS性能だけでは不十分」とのことで、Jetson Orin Nano Superはメモリ帯域幅が102GB/sとなり、従来の68GB/sからおよそ1.5倍に拡張されました。さらにCPU周波数も1.7GHzと、前世代の1.5GHzから向上しています。Jetson Orin Nano Superの主要なスペックは以下の通り。

NVIDIAは、Jetson Orin Nano Superが最大8Bパラメータを持つ大規模言語モデルや視覚言語モデルなどのTransformerベースのモデルを実行できるようになったとアピール。また、HuggingFace Transformers、Ollama、llama.cpp、vLLM、MLC、NVIDIA TensorRT-LLMなどの主要なMLフレームワークとの互換性も維持されています。加えて、Jetson Orin Nano Super開発者キットの価格は249ドルで、前世代の499ドルからほぼ半額になっています。

なお、NVIDIAによるとパフォーマンス向上はGPUやメモリ、CPUクロックを上げる新しい電力モードによって実現されており、既存のJetson Orin Nano開発者キットユーザーも最新のJetPackにアップグレードすることで同様の性能向上を得ることができるとのことです。