基于FPGA的YOLOV5s神经网络硬件部署

原创 已于 2025-02-26 12:35:18 修改 · 3.9k 阅读 · 13 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#fpga开发

于 2024-07-23 14:15:13 首次发布
部署运行你感兴趣的模型镜像

一 YOLOV5s

     本设计以YOLOV5s部署于FPGA上为例进行分析概述。YOLOV5s网络主要包括backbone、neck、head三部分。

       涉及的关键算子：

  • Conv：卷积，包括3*3、1*1，stride=1/2
  • Concat：
  • Upsample:
  • Pooling：
  • ADD

二 评估

       硬件加速器资源和网络部署评估。FPGA以Ultra96为例， ZU3EG资源如下图所示。   

       网络量化为INT8，结合硬件资源BRAM、DSPs及通信带宽，我们评估将YOLOV5s部署到ZU3上，300MHz主频下性能大概可以做到16FPS(该硬件架构下，理论最高28FPS)。 

三 具体部署--待续

1、硬件框架

神经网络加速器硬件架构如上，包括指令调度/控制、片内/片外数据通信模块、计算引擎、缓存单元及NPU配置寄存器等，接口采用标准的AXI与外部缓存DDR/Hyperram进行通信，采用AXI-Lite用于访问配置和状态寄存器。

卷积类型：常规卷积、深度可分离卷积；支持Upsample/pooling/reorg/concat/route及各种ReLu函数，可扩展支持INT4/INT8/INT16多精度量化。

特点就是专门设计了指令集架构，支持多种指令，同时支持不同指令之间的串行/并行执行，可不依赖于CPU进行控制。

为了便于部署，采用算法与硬件、算法与编译器、编译器与硬件的协同设计。

通过在软件层面进行训练-量化-和指令编译生成，支持算法快速迭代和应用快速部署应用。

在硬件层面支持扩展和算子扩充，以适应不断迭代的神经网络新算法。

2、模拟器验证

模拟器主要是为了快速验证量化后的网络推理过程，同时对资源和性能进行快速评估，毕竟基于FPGA的仿真验证实在是效率有点低。因此专门利用python搭建了针对底层硬件NPU架构设计的神经网络模拟器。

3、FPGA仿真验证

4、实际硬件部署

DEMO演示包括sensor采集、图像预处理、神经网络加速及后处理和显示。

四 结论

您可能感兴趣的与本文相关的镜像

Yolo-v5

Yolo-v5

Yolo

YOLO（You Only Look Once）是一种流行的物体检测和图像分割模型，由华盛顿大学的Joseph Redmon 和Ali Farhadi 开发。 YOLO 于2015 年推出，因其高速和高精度而广受欢迎

YOLOv5的FPGA开发：实现高度可拓展性
CqpFsharp的博客
09-21 4513
将YOLOv5算法移植到FPGA上可以充分利用FPGA的并行计算能力，提高算法的运行速度和效率。此外，FPGA的可编程性还使得算法能够根据需求进行定制化设计，具有良好的可拓展性。将YOLOv5的网络结构转化为FPGA上的硬件描述语言（HDL）代码是移植的关键。通过合理选择FPGA平台、进行算法移植和硬件优化，可以实现快速且准确的目标检测。在完成FPGA上的实现后，需要对其性能进行评估。请注意，上述代码仅为示例，实际的实现可能会有所不同，并且需要根据具体的硬件平台和工具进行适当的修改和调整。
基于 FPGA 的 YOLOv5s 网络高效卷积加速器设计【上】
qq_43416206的博客
04-22 5829
为提升在资源受限情况下的嵌入式平台上卷积神经网络( Convolutional Neural Network, CNN)目标识别的资源利用率和能效,提出了一种适用于 YOLOv5s 目标识别网络的现场可编程门阵 列(Field Programmable Gate Array,FPGA)共享计算单元的并行卷积加速结构,该结构通过共享 3×3 卷积和 1× 1 卷积的计算单元提高了加速器硬件资源利用率。
神经网络的FPGA实现
10-08
用FPGA实现神经网络，一个老外的文章，很好的！我实现了！
从零开始：FPGA实现YOLOv5的完整开发流程
最新发布
2501_93894147的博客
10-24 644
通过此流程，可在Xilinx Zynq-7000等平台实现15-25FPS的YOLOv5s实时检测，功耗低于5W。
有关YOLO目标检测的FPGA加速教程（一）
abcdef123456gg的博客
05-02 2万+
1.内存卡的装配 详见：https://blog.youkuaiyun.com/weixin_38438451/article/details/83474479 在这一步，开发板启动后，可以通过超级终端HyperTerminal软件连接到Pynq，通过com端口查看ip进行以太网连接。 2.pynq上网 一、笔记本电脑需要先连上外网，可以连上家里的WIFI，或者手机开热点（本人未测试过连接手机的热点，...
‌FPGA加速YOLOv5：从模型量化到硬件部署全流程
2501_93894828的博客
10-24 854
通过上述流程，可实现YOLOv5在Xilinx Zynq UltraScale+等平台上的实时推理（>60FPS），功耗降低10倍以上。
ZYNQ7045之YOLO部署——FPGA-ZYNQ Soc实战笔记1
m0_69082048的博客
10-30 4582
输入时固定的，因为存在全连接层，网络有24层卷积，2个全连接层，包含大量1x1卷积，最终7x7x30表示，7x7个各自，每个格子有30个数据，30个数据包含两个部分1：位置信息（第一个候选框中心点x） 2：预测中心点纵坐标 y 3：候选框W宽度 4：高度H5：第一个候选框置信度6：位置信息（第二个候选框中心点x） 7：预测中心点纵坐标 y 8：候选框W宽度 9：高度H10：第一个候选框置信度11~20：类别信息以及最后的损失函数。
YoloV3 在FPGA上运行-量化、编译和推理
OpenFPGA的博客
08-08 3959
YoloV3 在FPGA上运行-量化、编译和推理在Yolo这个复杂度级别的神经网络基本很少从零开始使用HDL搭建了，基本借助于FPGA厂商推出的AI工具链（AMD的Vitis AI/Intel的OpenVINO）可以快速搭建基于神经网络的应用。今天搭建基于 Yolov3 在FPGA上运行对象检测的示例，侧重过程。YoloV3 架构YOLOv3（You Only Look Once Version ...
【ZYNQ7020_mnist】神经网络在FPGA上的部署实现
Vodkaxx的博客
05-15 4162
目前的神经网络并不适合在低功耗处理器上进行训练，但是在fpga中单纯用于任务处理还是有点搞头的。本项目即实现了最最简单网络模型在FPGA上用于识别最最简单手写数字的tiny级任务。从零开始将神经网络部署到FPGA(ZYNQ7020)。
基于FPGA的Yolov4 tiny目标检测网络加速器
热门推荐
qq_40268672的博客
02-27 3万+
简介 之前实现了基于FPGA的Winograd CNN加速器(VGG16)和基于FPGA的MobileNet v2加速器，但这两个算法在本质上区别不大:一个是VGG16，另一个是轻量级的MobileNet v2，所实现的功能都是图像分类。因此，为了尝试更多的应用，本文在FPGA上实现了一个目标检测网络----Yolov4 tiny。yolo4 tiny的结构是YOLOv4的精简版，属于轻量化模型，参数只有600万相当于原来的十分之一，这类网络不仅能实现对图像的分类任务，还可以找出目标的位置，因此，更加贴近实
深度神经网络 FPGA 设计与现状
2401_88750741的博客
11-15 2037
相比 GPU，FPGA 具有更强的计算能力和较低的功耗. 相比 ASIC 和 SoC，FPGA 具有更低的设计成本和灵活的可编程性，FPGA 的开发设计更简单. 综合当前深度神经网络芯片的特性可知，FPGA 的设计性能更适合应用于深度神经网络在普通领域的开发和应用。FPGA 是基于可编程逻辑器件发展的一种半定制电路，它可以使用硬件描述语言（Verilog 或VHDL）或 C/C++/OpenCL 编程，利用小型查找表来实现组合逻辑，并对 FPGA 上的门电路以及存储器之间的连线进行调整，从而实现程序功能。
ai-在赛灵思fpga上部署yolov2算法-yolo部署.zip
01-28
ai ai_在赛灵思fpga上部署yolov2算法_yolo部署
FPGA加速卷积神经网络CNN策略
weixin_57138233的博客
09-21 898
FPGA 加速的本质是 “算法复杂度与硬件资源的精准匹配”—— 通过算法优化（量化、剪枝、Winograd）减少计算量和数据量，通过架构设计（并行、流水线、脉动阵列）最大化 FPGA 并行能力，通过硬件映射（DSP/BRAM/DDR 协同）避免资源瓶颈，最终实现 “高性能、高能效、低延迟” 的 CNN 推理。未来方向：结合存算一体架构（如将权重存储在 SRAM 中，计算单元直接在存储内操作，减少数据搬运）、异构融合。
目标检测YOLO实战应用案例100讲-结合YOLOv5神经网络轻量化改进的视觉SLAM
qq_36130719的博客
12-27 1350
在许多应用场景中，机器人需要在未知环境中移动并感知其周围的环境， 在这种情况下需要同时获取的信息主要包括两个方面：自己的位置和周围环境。这种同时进行自身定位和周围建图的技术被称为SLAM（Simultaneous Localization and Mapping）[1]。随着计算机视觉技术的快速发展，用视觉传感器 作信息获取源成为了SLAM技术中重要的一环，并在机器人技术蓬勃发展之际， 视觉SLAM成为了机器人导航和智能制造领域的重要技术之一[2]。视觉SLAM。
基于Tensorrt C++ API 构建YOLOV5实现engine以及推理
深之JohnChen的专栏
10-05 1924
TensorRT是英伟达针对自家平台做的一个加速包，可以认为 TensorRT 是一个只有前向传播的深度学习框架。这个框架可以将 TensorFlow，Pytorch，Caffe2 等框架训练出的神经网络模型解析，然后与 TensorRT 中对应的层进行一一映射，把其他框架的模型统一全部转换到 TensorRT 中，然后在 TensorRT 中可以针对 NVIDIA 自家 GPU 实施优化策略，并进行部署加速。根据官方文档，使用TensorRT，在CPU或者GPU模式下其可提供10X乃至100X的加速。
FPGA加速AI推理：卷积神经网络硬件化设计的6种经典架构与部署案例
[FPGA加速AI推理：卷积神经网络硬件化设计的6种经典架构与部署案例](https://ucc.alicdn.com/images/user-upload-01/img_convert/7a1f5baa03188205173a7a0983f27702.png?x-oss-process=image/resize,s_500,m_lfit) ...
YOLOv11轻量化模型在FPGA相机端的部署技术文档
Cedric1113的博客
07-10 895
超低延迟闭环：8.2ms处理延时满足高速相机实时需求极致能效比：功耗较GPU方案下降两个数量级工业级可靠性：-40℃~85℃温度范围稳定运行灵活扩展性：支持通过PCIe重配置模型（切换检测目标）
后摩尔时代的创新：在米尔FPGA上实现Tiny YOLO V4，助力AIoT应用
cnzzs的博客
12-06 1037
学习如何在 MYIR 的 ZU3EG FPGA 开发板上部署 Tiny YOLO v4，对比 FPGA、GPU、CPU 的性能，助力 AIoT 边缘计算应用。一、为什么选择 FPGA：应对 7nm 制程与 AI 限制在全球半导体制程限制和高端GPU 受限的大环境下，FPGA 成为了中国企业发展的重要路径之一。它可支持灵...
FPGA部署神经网络流程和方法
weixin_35756690的博客
01-02 3636
好的。 部署神经网络到FPGA的流程大致如下： 选择合适的FPGA芯片和开发板，确定所需的硬件资源。 在计算机上训练神经网络模型。 将训练好的模型转换为适用于FPGA的格式，通常使用High Level Synthesis(HLS)工具进行转换。 使用FPGA开发工具，如Xilinx Vivado或Intel Quartus，将转换后的代码编译为FPGA可以运行的硬件电路。 将编译好的电...
fpga神经网络
03-08
### FPGA 实现神经网络开发教程与资源 #### 一、FPGA 加速 CNN 运算的详细教程 对于希望深入了解如何通过现场可编程门阵列 (FPGA) 来加速卷积神经网络(CNN)运算的研究者或者开发者来说，存在一份非常有价值的资料。这份文档不仅提供了理论上的指导，还附带了完整的源代码以便于实践操作[^1]。 该教程涵盖了从基础概念到具体实施步骤的内容，包括但不限于数据预处理方式的选择、模型结构的设计原则以及硬件描述语言(HDL)编写技巧等方面的知识点。此外，在实际案例部分，则展示了怎样利用特定工具链完成整个项目的构建流程，并给出了优化建议来提高最终产品的性能表现。 #### 二、基于 Python 的 NPU 架构设计模拟器用于 YOLOv5s 部署 另一个值得关注的是有关在FPGA上部署YOLOv5s这一轻量级目标检测算法的文章。文中提到为了能够更高效地测试经过量化处理之后版本的表现情况及其所需消耗的各种资源数量，研究人员采用Python语言创建了一个专属于底层硬件NPU架构特性的神经网络模拟环境[^2]。 这种做法使得前期准备工作变得更加简便快捷的同时也降低了成本开销；而且由于其灵活性较高所以可以很容易地适应不同类型的项目需求变化。 ```python import numpy as np def simulate_npu_architecture(input_data, weights): """ Simulate the behavior of an NPU architecture. Args: input_data (np.ndarray): Input data to be processed by the simulated NPU. weights (list[np.ndarray]): List containing weight matrices for each layer. Returns: output (np.ndarray): Processed data after passing through all layers defined by `weights`. """ activation = lambda x: max(0,x) # Forward pass simulation current_input = input_data.copy() for w in weights[:-1]: z = np.dot(current_input,w) a = np.vectorize(activation)(z) current_input=a final_output=np.dot(current_input,weights[-1]) return final_output ``` 此函数仅作为简化版演示用途，真实环境中还需要考虑更多因素如批标准化(batch normalization)，池化(pooling)等操作。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值