NVIDIA JetPack 6.2 为 NVIDIA Jetson Orin Nano 和 Jetson Orin NX 模块带来了超级模式

介绍 NVIDIA Jetson Orin Nano 超级开发工具包 的上市为小型边缘设备的 生成式人工智能 开启了一个新时代。新的 超级模式 给予了开发工具包高达 1.7 倍的前所未有的生成式人工智能性能提升，使其成为最具性价比的生成式人工智能超级计算机。

JetPack 6.2 现已推出，以支持Jetson Orin Nano和Jetson Orin NX生产模块的超级模式，提供高达 2 倍的生成 AI 模型性能。现在您可以为新的和现有的机器人及边缘 AI 应用程序释放更大的价值，并降低总体拥有成本。

本文讨论了超级模式的细节，包括新的功率模式、针对 Jetson Orin Nano 和 Orin NX 模块的流行生成 AI 模型的基准测试、文档更新以及支持超级模式的 NPN 合作伙伴的见解。

Jetson Orin Nano 和 Jetson Orin NX 系列的新参考电源模式

JetPack 6.2 通过解锁 GPU、DLA 内存和 CPU 时钟的更高频率，为 Jetson Orin Nano 和 Jetson Orin NX 系列提供了性能提升。

MODULE	现有参考电源模式 （可用与现有的闪烁配置）	新电源模式 （仅在新的闪烁配置下可用）
NVIDIA Jetson Orin Nano 4GB	7W, 10W	10W, 25W,MAXN超级
NVIDIA Jetson Orin Nano 8GB	7W, 15W	15W, 25W,MAXN超级
NVIDIA Jetson Orin NX 8GB	10W, 15W, 20W, MAXN	10W, 15W, 20W, 40W,MAXN SUPER
NVIDIA Jetson Orin NX 16GB	10W, 15W, 25W, MAXN	10W, 15W, 25W, 40W,MAXN超级

表 1. Jetson Orin Nano 和 Jetson Orin NX 模块的新参考功率模式

Jetson Orin Nano 模块现在有一个 25W 模式和一个新的无上限 MAXN SUPER 模式。同样，Jetson Orin NX 模块现在可以使用一个新的更高的 40W 参考功率模式以及一个无上限 MAXN SUPER 模式。

MAXN SUPER 是一种不受限制的电源模式，允许 CPU、GPU、DLA、PVA 和 SOC 引擎使用最高数量的核心和时钟频率。如果在此模式下模块的总功率超过了热设计功率（TDP）预算，则模块将被限制到较低的频率，从而在保持在热预算内的同时提供较低的性能。

我们强烈建议您构建自己的自定义电源模式，以找到适合您应用和需求的功耗或热稳定性与性能之间的合适平衡。

表 2 比较了 Jetson Orin Nano 4GB 和 8GB 以及 Jetson Orin NX 8GB 和 16GB 在其原始模式和超模式下的详细规格。

	ORIN NANO 4GB​	ORIN NANO 4GB  (SUPER)	ORIN NANO 8GB	ORIN NANO 8GB (SUPER)	ORIN NX 8GB	ORIN NX 8GB (SUPER)	ORIN NX 16GB	ORIN NX 16GB (SUPER)
峰值人工智能性能​INT8​	20 TOPS (稀疏)​ 10 TOPS (Dense)​	34 TOPS（稀疏） 17 TOPS (Dense)	40 TOPS（稀疏） 20 TOPS（密集）	67 TOPS (Sparse)​ 33 TOPS (Dense)​	70 TOPS (稀疏)​ 35 TOPS（密集）​	117 TOPS (稀疏)​ 58 TOPS (Dense)​	100 TOPS (稀疏) 50 TOPS (Dense)	157 TOPS (稀疏) 78 TOPS (Dense)
NVIDIA AMPERE GPU	512 CUDA 核心 16 个张量核心 625 MHz  20/10 INT8 TOPs (S/D) 5 FP16 TFLOPs	512 CUDA 核心 16 张量核心 ​ 1020 MHz  34/17 INT8 TOPs (S/D) 8.5 FP16 TFLOPs	1024 CUDA 核心 32 个张量核心 625 MHz 40/20 INT8 TOPs (S/D) 10 FP16 TFLOPs	1024 个 CUDA 核心 32 个张量核心 1020 MHz  67/33  INT8 TOPs (S/D) 17 FP16 TFLOPs	1024 CUDA 核心 请提供需要翻译的文本 32 个 Tensor Cores 765 MHz  50/25 INT8 TOPs (S/D) ​ 13 FP16 TFLOPs	1024 CUDA 核心 32 个张量核心 1173 MHz  77/38 INT8 TOPs (S/D) 19 FP16 TFLOPs	1024 CUDA 核心 请提供要翻译的文本 32 个张量核 918 MHz 60/30 INT8 TOPs (S/D)  15 FP16 TFLOPs	1024 CUDA 核心 32 个张量核心 请提供需要翻译的文本 1173 MHz 77/38 INT8 TOPs (S/D) 19 FP16 TFLOPs
CPU​	6X A78​ 1.5 GHz	6X A78​ 1.7 GHz​	6X A78​ 1.5 GHz	6X A78 1.7 GHz​	6X A78​ 2.0 GHz​	6X A78 2.0 GHz	8X A78​2 .0 GHz	8X A78 2.0 GHz
DLA (S/D)​	NA​	NA	NA	NA	20/10 INT8 TOPs	40/20 INT8 TOPs​	40/20 INT8 TOPs​	80/40 INT8 TOPs​
DRAM BW​	34 GB/s	51 GB/s​	68 GB/s	102 GB/s​	102 GB/s	102 GB/s	102 GB/s	102 GB/s
模块电源​	7W 10W	7W 10W 25W​	7W 15W	7W 15W 25W​	10W 15W 20W	10W 15W 25W 40W​	10W 15W 25W	10W 15W 25W 40W​

表 2. Jetson Orin Nano 和 Jetson Orin NX 的原始规格以及超级模式下的规格

在使用新的电源模式时，请确保您产品现有或新的热设计能够满足电源模式的新规格。有关更多信息，请参阅更新的热设计指南。

更新的功率估算工具

功率估算工具是 NVIDIA 提供的一个强大工具，通过修改系统参数（如核心、最大频率和 GPU、CPU、DLA 等的负载水平）来创建自定义功率配置文件和nvpmodel配置文件。该工具提供了在各种设置下的估算功耗，并可用于创建最佳参数设置，以实现性能与功耗之间的理想平衡。

我们已经更新了超级模式的电力估算工具。我们强烈建议您使用电力估算工具，并在高性能应用部署之前进行实际验证。

提升热门生成性 AI 模型的性能

随着 JetPack 6.2 引入超级模式，Jetson Orin Nano 和 Jetson Orin NX 模块提供高达 2 倍的推理性能提升。我们基准测试了最流行的大型语言模型 (LLMs)、视觉语言模型 (VLMs) 和视觉transformer (ViTs)。

大型语言模型

以下图表和表格显示了流行的 LLMs 的超级模式性能基准，如 Llama3.1 8B、Qwen2.5 7B 和 Gemma2 2B。

图 1. 使用超级模式的 LLMs 性能提升

DNR 意味着模块上的内存不足以运行特定模型。模型性能将受到限制行为的影响。

在下表中，LLM 生成性能（每秒令牌数）在使用 MLC API 的 INT4 量化下进行了测量。

表 3 显示了在 JetPack 6.2 下，Jetson Orin Nano 4GB 上LLM的性能提升。

Model	Orin Nano 8GB（原版）	Orin Nano 8GB（超模式）	性能提升 (x)
Gemma 2 2B	11.40	18.60	1.64
SmolLM2 1.7B	23.00	35.80	1.56

表 3. Jetson Orin Nano 4GB 上流行LLMs的基准性能（以令牌/秒计）

表 4 显示了在 JetPack 6.2 下 Jetson Orin Nano 8GB 上LLM的性能提升。

Model	Orin Nano 8GB（原版）	Orin Nano 8GB（超模式）	性能提升 (x)
Llama 3.1 8B	14.00	19.10	1.37
Llama 3.2 3B	27.70	43.10	1.55
Qwen 2.5 7B	14.20	21.80	1.53
Gemma 2 2B	21.5	35.0	1.63
Gemma 2 9B	7.20	9.20	1.28
Phi-3.5 3.8B	24.70	38.10	1.54
SmolLM2 1.7B	41.00	64.50	1.57

表 4. 在 Jetson Orin Nano 8GB 上流行LLMs的基准性能（以每秒令牌数计）

表 5 显示了在 JetPack 6.2 下，Jetson Orin NX 8GB 上LLM的性能提升。

Model	Orin NX 8GB（原版）	Orin NX 8GB（超级模式）	性能提升 (x)
Llama 3.1 8B	15.90	23.10	1.46
Llama 3.2 3B	34.50	46.50	1.35
Qwen 2.5 7B	17.10	23.80	1.39
Gemma 2 2B	26.60	39.30	1.48
Gemma 2 9B	8.80	13.38	1.52
Phi-3.5 3.8B	30.80	41.30	1.34
SmolLM2 1.7B	51.50	69.80	1.35

表 5. Jetson Orin NX 8GB 上流行LLMs的标杆性能（以每秒令牌数计算）

表 6 显示了在 JetPack 6.2 下，Jetson Orin NX 16GB 上的LLM性能提升。

Model	Orin NX 16GB（原版）	Orin NX 16GB（超级模式）	性能提升 (x)
Llama 3.1 8B	20.50	22.80	1.11
Llama 3.2 3B	40.40	45.80	1.13
Qwen 2.5 7B	20.80	23.50	1.13
Gemma 2 2B	31.60	39.00	1.23
Gemma 2 9B	10.56	13.26	1.26
Phi-3.5 3.8B	35.90	40.90	1.14
SmolLM2 1.7B	59.50	68.80	1.16

表 6. Jetson Orin NX 和 Orin Nano 模块上流行 LLMs 的基准性能（以每秒 tokens 计）

视觉语言模型

以下图表和表格显示了如 VILA1.5 8B、LLAVA1.6 7B 和 Qwen2 VL 2B 等流行 VLM 的超级模式性能基准。

图 2. 在使用超级模式运行时 VLM 的性能提升

DNR 意味着模块上的内存不足以运行特定模型。模型性能将受到限制行为的影响。

表 7 显示了在 JetPack 6.2 下，Jetson Orin Nano 4GB 上的 VLM 性能提升。

Model	Orin Nano 4GB（原版）	Orin Nano 4GB（超级模式）	性能提升 (x)
PaliGemma2 3B	7.2	11.2	1.56

表 7. Jetson Orin Nano 4GB 上流行 VLM 的基准性能（以令牌/秒为单位）

表 8 显示了在 JetPack 6.2 下，Jetson Orin Nano 8GB 上 VLM 性能的提升。

Model	Orin NX 16GB（原版）	Orin NX 16GB（超级模式）	性能提升 (x)
VILA 1.5 3B	0.7	1.1	1.51
VILA 1.5 8B	0.6	0.8	1.45
LLAVA 1.6 7B	0.4	0.6	1.38
Qwen2 VL 2B	2.8	4.4	1.57
InternVL2.5 4B	2.5	5.1	2.04
PaliGemma2 3B	13.7	21.6	1.58
SmolVLM 2B	8.1	12.9	1.59

表 8. Jetson Orin Nano 8GB 上流行 VLM 的基准性能（以令牌/秒计）

表 9 显示了在 JetPack 6.2 下，Jetson Orin NX 8GB 上的 VLM 性能提升。

Model	Orin NX 16GB（原版）	Orin NX 16GB（超级模式）	性能提升 (x)
VILA 1.5 3B	0.8	1	1.25
VILA 1.5 8B	0.7	1.04	1.50
LLAVA 1.6 7B	0.5	1.2	2.54
Qwen2 VL 2B	3.4	4.8	1.41
InternVL2.5 4B	3	4.1	1.37
PaliGemma2 3B	17.1	23.9	1.40
SmolVLM 2B	9.7	14.4	1.48

表 9. Jetson Orin NX 16GB 上流行 VLM 的基准性能（以每秒令牌数计）

表 10 显示了使用 JetPack 6.2 的 Jetson Orin NX 16GB 上的 VLM 性能提升。

Model	Orin NX 16GB（原版）	Orin NX 16GB（超级模式）	性能提升 (x)
VILA 1.5 3B	1	1.3	1.23
VILA 1.5 8B	0.8	1	1.25
LLAVA 1.6 7B	0.6	0.7	1.07
Qwen2 VL 2B	4	4.8	1.20
InternVL2.5 4B	2.8	4.4	1.57
PaliGemma2 3B	20	23.8	1.19
SmolVLM 2B	11.7	14.3	1.22

表 10. Jetson Orin NX 和 Orin Nano 模块上流行 VLM 的基准性能（每秒令牌数）

所有 VILA 和 LLAVA 模型使用 MLC 以 INT4 精度运行，而其余模型使用 Hugging Face Transformers 以 FP4 精度运行。

视觉transformer

以下图表和表格展示了流行的 ViTs（如 CLIP、DINO 和 SAM2）的超级模式性能基准。

图 3. 在使用超级模式运行时，ViTs 的性能提升

DNR 意味着模块上的内存不足以运行特定模型。模型性能将受到限制行为的影响。

表 11 显示了在 JetPack 6.2 下，ViT 在 Jetson Orin Nano 4GB 上的性能提升。

Model	Orin Nano 4GB（原版）	Orin Nano 4GB（超级模式）	性能提升 (x)
clip-vit-base-patch32	126.8	189.5	1.49
clip-vit-base-patch16	63.2	112.4	1.78
DINOv2-base-patch14	49.3	79.3	1.61
SAM2 基础	2.5	3.8	1.54
vit-base-patch16-224	62.4	103.3	1.66

表 11. Jetson Orin Nano 4GB 上流行 ViT 的基准性能（以 token/秒为单位）

表 12 显示了在 JetPack 6.2 下，ViT 在 Jetson Orin Nano 8GB 上的性能提升。

Model	Orin Nano 8GB（原版）	Orin Nano 8GB（超模式）	性能提升 (x)
clip-vit-base-patch32	196	314	1.60
clip-vit-base-patch16	95	161	1.69
DINOv2-base-patch14	75	126	1.68
SAM2 基础	4.4	6.3	1.43
Grounding DINO	4.1	6.2	1.52
vit-base-patch16-224	98	158	1.61
vit-base-patch32-224	171	273	1.60

表 12. Jetson Orin Nano 8GB 上流行 ViTs 的每秒标记基准性能

表 13 显示了在 JetPack 6.2 下，ViT 在 Jetson Orin NX 8GB 上的性能提升。

Model	Orin NX 8GB（原版）	Orin NX 8GB（超级模式）	性能提升 (x)
clip-vit-base-patch32	234.0	361.1	1.54
clip-vit-base-patch16	101.7	204.3	2.01
DINOv2-base-patch14	81.4	160.3	1.97
SAM2 基础	3.9	7.4	1.92
Grounding DINO	4.2	7.4	1.75
vit-base-patch16-224	98.6	192.5	1.95
vit-base-patch32-224	193.1	313.5	1.62

表 13. Jetson Orin NX 8GB 上流行 ViT 的基准性能（以每秒令牌数为单位）

表 14 显示了在 JetPack 6.2 下，ViT 在 Jetson Orin NX 16GB 上的性能提升。

Model	Orin NX 16GB（原版）	Orin NX 16GB（超级模式）	性能提升 (x)
clip-vit-base-patch32	323.2	356.7	1.10
clip-vit-base-patch16	163.5	193.6	1.18
DINOv2-base-patch14	127.5	159.8	1.25
SAM2 基础	6.2	7.3	1.18
Grounding DINO	6.2	7.2	1.16
vit-base-patch16-224	158.6	190.2	1.20
vit-base-patch32-224	281.2	309.5	1.10

表 14. Jetson Orin NX 16GB 上流行 ViT 的基准性能（帧/秒）

所有的 ViT 模型均使用 NVIDIA TensorRT 以 FP16 精度运行，测量单位为 FPS。

开始使用 NVIDIA Jetson Orin Nano 和 Jetson Orin NX 及 JetPack 6.2

NVIDIA Jetson 生态系统提供了多种方法让您使用 JetPack 镜像为开发者套件和生产模块刷机。

要在 Jetson Orin Nano 开发套件或模块上安装 JetPack 6.2，请使用以下方法之一：

• SD-Card 镜像 来自 JetPack SDK 页面。
• SDK Manager 用于根据 下载和安装说明 进行刷机。
• 为引导程序、内核和根文件系统的刷写脚本，参考刷写支持。

新的闪光配置

新的电源模式仅在新的闪烁配置下可用。默认的闪烁配置没有改变。要启用新的电源模式，您必须在闪烁时使用新的闪烁配置。

这是用于刷写的新闪存配置：

jetson-orin-nano-devkit-super.conf

在闪存或更新到 JetPack 6.2 后，运行以下命令以启动新可用的超级模式。

MAXN SUPER 模式在 Jetson Orin Nano 模块上：

sudo nvpmodel -m 2

MAXN SUPER 模式在 Jetson Orin NX 模块上：

sudo nvpmodel -m 0

您还可以从页面右上角的电源模式菜单中选择 MAXN SUPER 和其他电源模式。

图 4. 功率模式选择菜单