嵌入式 AI 算力与性能测试完整指南：概念、方法、工具与不同硬件对比

嵌入式AI性能测试全解析
原创 于 2025-11-15 11:55:53 发布 · 939 阅读 · 13 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能 #网络 #数据库 #linux #缓存 #redis #运维

『AI先锋杯·14天征文挑战第8期』 10w+人浏览 387人参与

嵌入式 AI 算力与性能测试完整指南：概念、方法、工具与不同硬件对比（面向初学者，超详细版）

适用对象： Jetson / RK3588 / x86 / Raspberry Pi 学习者、算法工程师、嵌入式 AI 初学者

文章目标： 用最通俗、最完整、最专业的方式，彻底讲清楚算力、TOPS、FPS、推理速度、模型性能测试方法，让你真正理解“AI 性能到底怎么测”。

📌 一、为什么要学性能测试？（你以为你理解了，其实没有）

在做边缘 AI（Embedded AI）开发时，无论你使用：

  • NVIDIA Jetson（Orin Nano / NX / AGX）
  • Rockchip RK3588（NPU）
  • Intel NUC / MiniPC
  • Raspberry Pi（CPU 推理）

在这里插入图片描述

你都会遇到两个最重要的问题：

❶ 我这块硬件到底跑得快不快？能不能满足我的产品需求？

❷ 数据手册写的 TOPS 到底和真实速度有什么关系？

初学者常常被宣传数字误导：

  • RK3588：6 TOPS
  • Orin Nano：40 TOPS
  • Orin NX：100 TOPS
  • AGX Orin：275 TOPS

但，当你实际运行 YOLO、OCR、Transformer 时：

  • 有的平台真实性能 比标称高很多
  • 有的平台真实性能 比标称低很多

因此，这篇文章的核心目的：

⭐ 帮你建立一个真正正确的算力理解体系，并教你如何完整测试 AI 性能。

📌 二、核心概念总览：TOPS、FPS、推理延迟、吞吐量

很多初学者会混淆这些概念。下面一次讲清楚。

⭐ 1. TOPS（理论算力，不是实际速度）

Tera Operations Per Second = 每秒执行多少万亿次 INT8 运算。

特性：

  • 厂商自己算的
  • 只代表理论峰值
  • 不考虑内存、算子、软件栈
  • 不能代表真实推理速度（FPS）

一句话总结：

TOPS 是“纸面战斗力”，不是“实战战斗力”。

⭐ 2. 实测 FPS（真实速度，必须看它）

FPS = 每秒推理多少帧（图片/视频帧）。

例：

  • 30 FPS → 流畅实时
  • 60 FPS → 高清实时
  • 100 FPS → 高速视觉 / 多路摄像头

FPS 取决于：

  • 软件框架（TensorRT / RKNN / OpenVINO）
  • 内存带宽
  • 算子支持
  • 模型结构
  • 硬件类型（GPU / NPU / CPU）

一句话：

FPS 才是真实能力，是你做产品必须看的指标。

⭐ 3. 推理延迟 Latency（延迟小代表速度快）

单位：毫秒（ms）

例如：

  • 20ms → 每秒最多 50FPS
  • 10ms → 每秒最多 100FPS

公式：

FPS = 1000ms / latency

⭐ 4. 吞吐量 Throughput（批量处理能力）

适用于服务器 / 多 Batch 情况。

例如：

  • Batch=4 → 处理 4 张图的速度

边缘设备一般 batch = 1，不必过度关注。

📌 三、为什么不同硬件“宣传 TOPS”差不多，但实际性能差很多？

我们看一个经典例子：

平台宣传 TOPSYOLOv8-S 实测 FPS推理框架
RK35886 TOPS15–25 FPSRKNN
Orin Nano40 TOPS80–120 FPSTensorRT
Orin NX100 TOPS140–200 FPSTensorRT
AGX Orin275 TOPS250–350 FPSTensorRT

非常明显：

  • RK3588：宣传 6 TOPS，看起来不低，但 FPS 非常一般
  • Orin Nano：宣传 40 TOPS，看似一般，实际远远更快

为什么？

因为：

⭐ 真实 AI 性能 = TOPS × 软件优化 × 内存带宽 × 算子支持 × 架构

其中最重要的其实是：

⭐ 推理框架的质量（TensorRT）决定真实速度。

这是 Jetson 与其它平台拉开巨大差距的原因。

📌 四、Jetson、RK3588、x86、树莓派真实 AI 性能对比（附表）

测试模型：YOLOv8-S（ONNX）640×640
测试框架：TensorRT / RKNN / OpenVINO
Batch=1

⭐ 表一：真实 FPS 对比（最重要）

平台AI 模型（YOLOv8-S）FPS适用场景注意事项
Jetson Orin Nano 8GB80–120 FPS入门 AI / 边缘设备TensorRT 优化极强
Jetson Orin NX 16GB140–200 FPS工业视觉 / 机器人性能 / 功耗平均最佳
Jetson AGX Orin250–350 FPS重载 AI / 自动驾驶性能天花板
Rockchip RK358815–25 FPS低成本 AI 设备NPU 对模型兼容性不稳定
Intel i7 NUC20–40 FPS边缘服务器功耗高，不适合嵌入式
Raspberry Pi 51–2 FPS教育无 NPU，不适合 AI

可以看出：

🔥 Jetson 的实际 FPS = 同级别 NPU 的 3～10 倍

这是为什么？继续往下看。

📌 五、决定实际性能的五大关键因素（TOPS 不是最重要的）

⭐ 1. 软件栈成熟度（最重要）

Jetson：CUDA + TensorRT + cuDNN（行业最成熟）
RK3588：RKNN（算子不稳定，模型兼容性差）
Pi/x86：基本无加速或部分加速

TensorRT 的优势：

  • 自动融合算子
  • 自动 kernel 调度
  • 自动量化（INT8）
  • 自动优化计算图

NPU 无法做到如此完整的优化。

⭐ 2. 内存带宽

大模型（YOLO / OCR / Transformer）非常吃内存：

  • Orin 带宽远大于 RK3588
  • 树莓派更低

带宽不足 → 推理速度直接下降。

⭐ 3. 算子支持（决定是否会“掉速”）

如果遇到 NPU 不支持的算子：

  • RK3588 → 回退 CPU → 速度慢到不可用
  • Jetson → TensorRT 基本都能优化

⭐ 4. GPU Tensor Cores

Jetson 支持：

  • FP16
  • INT8
  • Tensor Core 加速

这些是 Jetson 推理速度领先 NPU 的核心硬件原因。

⭐ 5. 推理框架（TensorRT）

这是 Jetson 真实 FPS 远超 TOPS 的根本原因。

TensorRT 可以让：

  • 40 TOPS（Orin Nano）跑赢
  • 理论 6 TOPS（RK3588）数倍性能

📌 六、如何正确测试 AI 性能？（完整工程流程）

这一节非常重要，你的产品性能能否达到要求，就靠它了。

⭐ 第一步：准备模型

推荐使用：

  • YOLOv8-S.onnx（最具有代表性）
  • ResNet50.onnx（分类模型）
  • MobileNetV3.onnx（轻量模型）

⭐ 第二步：选择推理框架

不同平台使用不同框架：

平台推理框架
JetsonTensorRT
RK3588RKNN Toolkit
x86OpenVINO / TensorRT
Raspberry PiCPU Only

⭐ 第三步：测试代码（示例）

✔ TensorRT（Jetson）测试代码

import time
import cv2
import tensorrt as trt

# 假设你已加载好 engine，并实现了 infer() 函数

warmup = 20
for _ in range(warmup): infer()

count = 0
start = time.time()
while time.time() - start < 5:  # 测 5 秒
    infer()
    count += 1

fps = count / 5
print(f"TensorRT FPS: {fps}")

✔ RKNN（RK3588）测试代码

from rknn.api import RKNN
import time

rknn = RKNN()
rknn.load_rknn('model.rknn')
rknn.init_runtime()

warmup = 20
for _ in range(warmup): rknn.inference(inputs)

count = 0
start = time.time()
while time.time() - start < 5:
    rknn.inference(inputs)
    count += 1

print("RKNN FPS:", count/5)

⭐ 第四步：测试摄像头实时性能（更接近真实场景）

包括：

  • 预处理耗时
  • 摄像头抓帧延迟
  • 推理解码速度
  • 后处理速度（NMS）

Jetson 可以使用：

  • GStreamer
  • nvvidconv（GPU 加速）
  • nvargus（摄像头 ISP）

RK3588 多数使用：

  • v4l2 + RGA

实际场景常常比纯推理慢 20–40%。

📌 七、不同模型在不同硬件上的真实速度表（非常实用）

模型Orin NanoOrin NXAGX OrinRK3588Pi 5
YOLOv8-N180 FPS260 FPS400+ FPS40 FPS2 FPS
YOLOv8-S80–120 FPS140–200 FPS250–350 FPS15–25 FPS1–2 FPS
ResNet50400+ FPS700+ FPS1000+ FPS80–120 FPS10 FPS
laravel-starter-kit
04-16
介绍 Laravel 8入门套件和一些软件包，可让您更快地建立网站。 包括 安装 从终端运行这些命令 git clone https://github.com/devryank/laravel-starter-kit 将.env.example重命名为.env 设置您的环境 作曲家命令 composer install composer dump-autoload 工匠指挥 php artisan key:generate php artisan migrate --seed php artisan storage:link 演示凭证 超级管理员 电子邮件： 密码：密码 行政 电子邮件： admin@app.test 密码：密码 用户 电子邮件： user@app.test 密码：密码 设定权限 您可以在config/laratrust-seeder.php看到权限设置 超
Laravel开发-laravel-api-starter-kit
08-28
Laravel开发-laravel-api-starter-kit Laravel API入门工具包，用于启动下一个REST API应用程序。
starterkit-for-laravel ：项目核心功能/场景
最新发布
gitblog_00099的博客
05-06 781
starterkit-for-laravel ：项目核心功能/场景 Laravel 初学者的快速启动套件 项目介绍 starterkit-for-laravel 是一个专为 Laravel 开发者设计的快速启动工具包。它提供了一个基本的项目结构，包括用户认证、角色权限管理、媒体库集成等功能，旨在帮助开发者节省时间，快速构建 Laravel 应用程序。此项目适用于初学者和有经验的开发者，通过提供一系...
推荐开源项目：Laravel 4 - Starter Kit
gitblog_00081的博客
05-20 448
推荐开源项目：Laravel 4 - Starter Kit 项目介绍 Laravel 4 - Starter Kit 是一个基于 Laravel 4 框架的启动模板，旨在帮助开发者快速上手 Laravel 4 的开发工作。它包含了Twitter Bootstrap 2.3.2和jQuery 1.10.2等前端库，并且预装了一系列实用功能，如自定义错误页面、后台管理以及用户系统，是一个强大的开箱即...
Laravel API 快速启动教程
gitblog_00909的博客
09-24 385
Laravel API 快速启动教程 1. 项目介绍 Laravel API Starter Kit 是一个基于 Laravel 框架的 API 开发工具包，旨在为开发者提供一套完整的工具和框架，帮助他们快速构建和部署高质量的 API。该项目包含了 Laravel Passport 用于 API 认证、Laravel Socialite 用于社交登录、Laravel Fractal 用于数据转换、...
PostgREST Starter Kit：构建高效REST API的利器
gitblog_00243的博客
08-28 319
PostgREST Starter Kit：构建高效REST API的利器 在现代软件开发中，构建高效、可扩展的REST API是许多项目的核心需求。PostgREST Starter Kit 提供了一个强大的基础，帮助开发者快速搭建和部署基于PostgREST的REST API后端。本文将深入介绍这一开源项目的特点、技术分析以及应用场景，帮助你了解为何它值得你的关注和使用。 项目介绍 Postg...
Laravel Enterprise Starter Kit: 搭建企业级应用的高效解决方案
gitblog_00086的博客
04-27 584
Laravel Enterprise Starter Kit: 搭建企业级应用的高效解决方案 项目简介 是一个精心设计的开源框架，用于快速开发高质量的企业级Web应用。该项目由Lesk HQ开发，旨在为开发者提供一套预配置的、符合最佳实践的工具集，以简化大型项目初始化阶段的工作。 技术分析 基于Laravel 作为核心，Laravel是一个广受欢迎的PHP框架，以其优雅的语法和强大的功能著称。它提...
Laravel API Starter: 搭建高效API服务的利器
gitblog_00064的博客
04-05 377
Laravel API Starter: 搭建高效API服务的利器 如果你是一位PHP开发者，并且在寻找一个快速启动Laravel API项目的框架，那么绝对值得你一试。这个开源项目提供了一个全面的基础结构，帮助你轻松构建、测试和部署高质量的RESTful API。 项目简介 Laravel API Starter 是一个基于Laravel Framework精心设计的API开发模板。它包含了所有...
laravel-starter-kit:基于PHP8Laravel8的简约dockerized应用程序。 没有JetStream。 由Breeze搭建的脚手架。 没有尾风。 使用Bootstrap 5和Vanilla js。 专注于电子商务
04-17
Laravel入门套件。 :paperclip: 测试从Tinker发送电子邮件到 MailHog服务器： Mail::send('components/application-version', [], function ($message) { $message->to('john@dou.dev')->subject('test mail'); }...
laravel-api-starter：laravel5.5 + dingoapi + JWT
02-05
laravel-api-starter 这是一个Laravel 5.5 + Dingo + JWT的基础项目，用作快速开始写API Laravel / RESTful交流群：216721539 有用的链接 laravel，dingo / api，jwt，fractal的文档。 dingo / api dingo api中文...
Laravel开发-laravel-starter-kit
08-28
Laravel开发-laravel-starter-kit Laravel启动套件
laravel-starter-kit：Laravel 7.0〜入门套件，由VueJS + Material Design（Vuetify）提供支持
02-04
Laravel 7.0〜+ VueJS + Vuetify 注意：这使用混合路由。 内页是使用vue-router的SPA，可提供更流畅的用户体验。 因此，如果您是laravel和vueJS的高级用户，那么这个适合您。 但是，如果您只是学习laravel和vueJS，那么这可能不适合您。 演示用户： ：12345678 贡献 仅接受补丁，改进和错误修复。 对于与其他模块或功能相关的请求请求，将进行讨论，因为该项目的目标是非常精简的起点，并且避免avoid肿。 注意 我创建了这个入门工具包，供个人使用。 但是，如果您发现它对您有用，请随时使用。 我将使该项目保持最新状态，因为这是我日常工作中
Laravel-Starter-Kit:Laravel Starter Kit开始搭建最大的基本功能
03-28
关于Laravel Laravel是一个具有表达力，优雅语法的Web应用程序框架。 我们认为，发展必须是一种令人愉快的，富有创造力的经历，才能真正实现。 Laravel减轻了许多Web项目中使用的常见任务，从而减轻了开发过程中的痛苦，例如： 。 。 用于和存储的多个后端。 富有表现力，直观的 。 数据库不可知。 。 。 Laravel易于访问，功能强大，并提供大型，强大的应用程序所需的工具。 学习Laravel Laravel拥有所有现代Web应用程序框架中最广泛，最全面的和视频教程库，因此轻而易举地开始使用该框架。 如果您不想读书，可以使用帮助。 Laracasts包含1500多个视频教程，涉及各种主题，包括Laravel，现代PHP，单元测试和JavaScript。 深入我们全面的视频库，提高您的技能。 Laravel赞助商 我们要感谢以下赞助商为Laravel开发
laravel-starter:适用于任何项目的完美的laravel入门项目
04-30
Laravel入门级模板 该启动器模板非常适合启动新的laravel项目。 这包括以下功能： 基于bootstrap 4 Auth脚手架 注册时通过电子邮件验证 集成管理面板模板 通知前端通知 api身份验证的护照设置 VueX设置 MediaLibrary（Spatie / MediaLibrary）用于上传图像和视频 安装步骤 克隆此存储库： git clone https://github.com/riteshsingh1/laravel-starter.git 将.env.example复制到.env cp .env.example .env 安装依赖 composer install 慷慨的加密密钥 php artisan key:generate 创建数据库并在.env中更新 运行迁移 php artisan migrate 生成护照密钥 php artisan pa
abstract-laravel-starter-kit:抽象的Laravel 5入门套件组件
05-07
composer require dakshhmehta/laravel-starter-kit 为了安装此软件包，就像您安装的其他软件包一样-通过编辑文件config / app.php在一系列服务提供者中添加服务提供者 ' Kit\Providers\KitServiceProvider ' 除此...
laravel5-starter:用于引导程序3的Laravel 5 Starter CMS模板
05-13
Laravel 5 Starter CMS模板 ＃＃安装 ### 1。 通过作曲家安装 您可以使用composer create-project进行安装，而无需下载zip或克隆此存储库。 $ composer create-project kayrules/laravel5-starter your-project-...
Laravel 5 Starter App：构建移动应用Rest API教程
资源摘要信息:"Laravel 5 Starter App Rest API 介绍" 在当今数字化时代，移动应用程序已经成为用户日常生活中不可或缺的一部分。为了满足移动应用与后端服务之间的数据交互需求，Rest API（Representational State...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值