一、 开发板简介
搭建一个嵌入式视觉算法仿真平台,开发板的选型需围绕数据流闭环与计算效能两大核心维度展开:
视频输入、输出
开发板需配备视频输入接口,如MIPI-CSI、USB摄像头、网络摄像头(RTSP视频流)等。满足仿真算法时数据的来源需求,可以便捷地在板卡端获取想要进行测试的数据。视频输出的话,主要是需要一个无压缩显示接口,最常见的就是HDMI了。
异构计算资源
算力架构需包含主控CPU、专用AI加速单元(NPU/TPU)、通用的图像处理库(裁剪、缩放、颜色空间转换等)。CPU是通用的计算资源,主要是担任算法任务的调度和协助算法专用硬件加速器。例如,算法线程的管理,算法输入、输出的拷贝,以及一些非高密度计算的处理,例如:目标检测模型的非极大值抑制(NMS)。
综合价格、便携性和可靠性,我在电商平台选择了这款基于Hi3516DV300的开发板。
从外围接口来说,视频的输入、输出方面是满足了要求。从计算资源来说,CPU主频是900MHz、NPU的基础算力是1T,刚好满足我的要求。因为,我主要是面向低算力、低功耗场景下的算法仿真和开发。
二、主芯片
海思Hi3516DV300是由华为海思半导体推出的高性能智能视频处理SoC(系统级芯片),专为安防监控、智能分析、无人机等场景设计。该芯片凭借其高集成度、低功耗特性及强大的多媒体处理能力,成为嵌入式设备开发领域的热门选择。其核心优势在于将多核处理器、专用视频编解码引擎(VPU)和图像信号处理单元(ISP)高度集成,实现了计算资源与功耗的优化平衡。
2.1 为什么选择海思?
图像质量
在低算力平台的视觉处理算法开发中,算法结构的深度精简和图像质量优化是提升系统效能的核心路径。此类平台受限于硬件计算资源,需通过轻量化模型架构、参数压缩和动态资源分配等技术手段,在保证实时性的前提下实现目标检测、特征提取等关键功能。其中高质量图像输入具有基础性作用:优秀的ISP(图像信号处理器)能够有效抑制噪声干扰、增强细节表现并优化动态范围,使后端算法无需过多算力用于前端图像信息的预处理。
在安防监控领域,海思芯片凭借其自主研发的ISP技术体系,长期处于行业领先地位。其特色成像算法可针对复杂光线环境进行自适应调节,例如在低照度场景中通过多帧降噪技术提升画面纯净度,在逆光场景中通过宽动态范围算法平衡明暗细。在安防领域的摸爬滚打,海思ISP的成像质量,一直是行业的佼佼者。
工作经验
在工作中,我与海思芯片打了多年交道,熟悉它的开发环境和工具,上手会比较容易。
2.3 NPU
海思系列芯片早期的NPU组件叫做NNIE,配套的开发工具叫SVP,目前,已经全系列升级为华为晟腾系列的ACNN开发套件了。作为海思媒体SoC中的专用CNN加速模块,NNIE基于多级流水线设计实现卷积、池化等算子硬件化。其典型型号Hi3516CV500/DV300支持单通道灰度图与三通道RGB输入,内置图像预处理单元实现均值化与像素缩放。通过参数稀疏化技术,模型推理效率提升30%以。
优点
- 算力稳定可靠,对CNN层的加速比大。
- 文档清晰、例程较多。
- 开发工具链完整。
缺点
- 所有的模型均需转为caffe1.0,模型部署麻烦。
- 已经不再更新算子了。
2.4 图像处理库IVE
IVE(Intelligent Video Engine)是海思媒体处理芯片中面向智能视频分析的专用硬件加速模块,通过硬化关键算法算子实现高效能计算。其采用异构计算架构,集成运动目标检测、跟踪等核心功能,可将CPU资源占用率降低50%以上。
- 多模块协同:与DPU(深度处理单元)、IVS(智能视频监控API)配合,形成完整的智能分析体系。
- 硬化图像处理关键算子:包括卷积运算、特征提取、颜色空间转化、连通域提取等。
- 图像增强:集成去噪、锐化、透视变换等预处理功能。
三、配套硬件和软件
3.1 HDMI显示器
为了以后方便去外场进行算法测试,我选择了一款便携式的HDMI显示器,支持1080P@30。
3.2 摄像头模组
购买开发板的时候,厂家适配的GC2053模组。主要是厂家提供了模组的驱动代码、ISP数据。对于一个算法工程师而言,这是很重要的,因为,我只想把时间放在算法开发上,我需要以最快的速度点亮模组,拿到数据。
3.3 RTSP推流上位机
没有选择通用的网络摄像头,是因为,我大部分时候需要视频数据的仿真。我使用Qt+FFMPEG+RtspSever搭建了一个简单的客户端,用来RTSP推流。