做了五年IoT平台，我转型做了边缘AI部署

关注

原创最新推荐文章于 2026-10-11 10:19:05 发布 235 阅读 AI 写同款· GEO 优化 ›

数字孪生重生：AI 如何兑现物联网的承诺十年前，笔者曾在 DZone 撰文探讨《物联网的未来》。当时通用电气（GE）推出面向航空发动机的数字孪生技术，我们正处在工业革命的前夜。转眼到了 2025 年，数字孪生正在经历一场复兴——人工智能的进步正在化解曾制约该技术发展的诸多挑战。阅读详情

2025年11月，公司的一个工业客户提了个需求。

他们的工厂车间有200台数控机床，每台机床都有自己的控制器，通过MQTT协议把运行数据（温度、振动、转速、电流）上报到我们搭的IoT平台上。

之前我们的平台做的是数据采集+存储+可视化看板。客户想升级：在机床数据上跑AI异常检测，提前预警刀具磨损和主轴故障。

需求本身不复杂。复杂的是约束条件——

不能用云端AI。 工厂的网络环境不稳定，断网是常态。而且工厂对数据安全要求极高，设备运行数据不允许出厂房。

只能用边缘设备。 每台机床旁边要部署一个边缘计算盒子，在本地跑AI推理。

算力有限。 边缘盒子是ARM架构，算力大概相当于一个树莓派4。没有GPU，没有NPU，CPU只有4核。

延迟要求高。 异常检测必须在500ms内完成，从数据采集到告警输出，全链路不能超过500ms。

客户的原话是：“你们能不能搞？不能搞我找别人了。”

我做了五年IoT平台。设备协议适配、数据采集、消息队列、时序数据库、可视化——这些我都熟。但在ARM盒子上跑AI推理？没做过。

但我接了。因为我看到了一个别人没看到的机会。

二、边缘AI：一个被忽视的金矿

接了需求之后，我花了一周做技术调研。

发现了一个事实：边缘AI是一个巨大的、被严重忽视的市场。

大模型很火，但大模型跑在云端。而现实世界中有大量的AI需求，必须在边缘端完成——

工业场景。 工厂设备异常检测、产线质量视觉检测、能耗优化。这些场景的数据敏感、延迟要求高、网络不稳定，必须边缘部署。

安防场景。 摄像头的人脸识别、行为分析、车牌识别。把视频流传到云端做AI分析，带宽成本和延迟都不可接受。

车载场景。 自动驾驶的感知决策、智能座舱的语音交互。不能依赖网络，必须本地推理。

智能家居。 智能音箱的语音唤醒、安防摄像头的移动检测。这些场景对隐私和延迟都有要求。

这些场景有一个共同特点：需要在算力受限的设备上，跑AI模型。

而"在算力受限的设备上跑高性能计算"，恰好是我做了五年IoT平台的核心能力。

五年里，我在各种奇葩硬件上跑过各种奇葩需求——在ARM Cortex-A7上跑实时数据采集、在MIPS路由器上跑网络代理、在ESP32上跑边缘数据处理。我对嵌入式Linux、交叉编译、内存优化、实时调度这些技能烂熟于心。

这些技能，在边缘AI部署中，每一条都用得上。

三、技术调研的结果

调研完之后，我理清了边缘AI部署的技术栈：

模型压缩。 大模型太大，边缘设备跑不了。需要做模型压缩——量化（FP32→INT8→INT4）、剪枝（去掉不重要的权重）、知识蒸馏（用大模型教小模型）。

推理引擎。 边缘设备上跑推理，需要轻量级的推理引擎。选项有：ONNX Runtime（通用性好）、TFLite（Google的，Android端友好）、NCNN（腾讯的，ARM优化好）、MNN（阿里的，跨平台）。

端侧小模型。 不是所有AI都需要大模型。很多边缘AI场景用的是小模型——YOLO系列做目标检测、MobileNet做图像分类、Whisper-tiny做语音识别。这些模型几十MB大小，ARM CPU就能跑。

更前沿的：端侧大模型。 随着LLaMA、Qwen等开源小模型（1B-3B参数）的出现，在高端边缘设备（比如骁龙8 Gen3手机、Jetson Nano）上跑大模型成为可能。MLC-LLM、llama.cpp这些框架专门做端侧大模型部署。

看到llama.cpp的时候，我特别兴奋。因为这个项目的核心问题——怎么在CPU上高效跑大模型推理——跟我在嵌入式设备上做高性能计算的思路完全一致。

四、我做了什么

第一件事：给工厂客户做了边缘AI异常检测方案。

技术方案：

模型。 用一个轻量级的时序异常检测模型——基于Autoencoder的方案。输入是机床的时序数据（温度、振动、转速、电流），输出是异常分数。模型大小只有2MB。
量化。 FP32量化到INT8，模型大小从2MB压到512KB，推理速度提升3倍。
推理引擎。 用NCNN做推理，它在ARM上的优化非常好。
部署。 边缘盒子跑的是嵌入式Linux，我用C++写了推理程序，交叉编译后部署上去。数据采集→预处理→推理→告警，全链路延迟控制在180ms以内，远低于500ms的要求。
模型更新。 模型放在云端训练，训练好之后OTA推送到边缘设备。边缘设备只做推理，不做训练。

方案上线后，刀具磨损预警的准确率达到了89%，提前预警时间平均4.2小时——足够工厂安排维护，避免了非计划停机。

客户很满意。续约的时候直接签了三年合同。

第二件事：开始研究端侧大模型部署。

工厂项目做完之后，我把目光投向了更大的方向——端侧大模型。

2025年底，Qwen2.5-1.5B发布了。15亿参数，INT4量化后模型大小只有800MB，可以在高端手机和边缘盒子上跑。

我做了一个实验：在RK3588（一款国产ARM SoC，6 TOPS NPU）上部署Qwen2.5-1.5B。

遇到的问题和解决过程：

推理框架。 llama.cpp在ARM上跑得不错，但没有利用RK3588的NPU。我研究了RKNN-LLM（瑞芯微官方的大模型推理框架），把Qwen2.5-1.5B转成RKNN格式，用NPU做加速。
内存。 RK3588有8GB内存，但系统占了2GB，留给应用的只有6GB。INT4量化后模型800MB，加上KV Cache大概2GB，刚好够用。
推理速度。 纯CPU跑，每秒大概5-6 token。用NPU加速后，每秒15-20 token，基本可用。
功能。 我在边缘盒子上搭了一个简单的AI助手——可以回答工厂操作规程相关问题、查询设备手册、生成简单的设备状态报告。

这个demo在公司内部引起了很大反响。CTO说：“这就是我们的下一个产品方向——工业边缘AI盒子。”

第三件事：把IoT平台和AI能力打通。

我做了五年IoT平台，最清楚边缘设备的管理痛点——固件升级、配置下发、状态监控、远程调试。

我把这些能力跟AI模型部署打通了：