- 博客(131)
- 资源 (3)
- 收藏
- 关注
RSS订阅
原创 Qt+ONNX+TensorRT:基于ONNX+TensorRT+AlexNet+Qt+WIN10的图像分类
目录1、模型训练2、导出ONNX模型3、ONNX转换为trtModel4、加载trtModel文件进行推理5、推理结果面我们写到了如何使用训练一个分类模型、如何基于训练的分类模型进行tensorrt的网络模型搭建然后进行推理，但是这样导致 我们要去手写网络模型，这样一方面难度比较大，现在更多的是转换为onnx模型进行推理，所以这里面我们使用onnx进行trt的加速推理。大家可以参考我之前的一些博客：TensorRT+图像分类：手动搭建AlexNet得图像分类---训练_M
2022-04-28 14:48:57
1264
7
原创 Qt+CUDA+TensorRT:基于Qt+CUDA+TRT+WIN10的图像分类
之前在写CUDA程序，TRT程序大多是基于VS上，比如之前写的很多程序都是基于vs2019,在windows上大家可以很快乐的在vs上进行配置，还可以快乐的使用界面，但是在linux上没有vs了，可以使用cmake去编译一些，但是对于有些同学可能不太适应，linux上用到最多的可能就是Qt了，毕竟跨平台。那么接下来我们讲解如何在QT里面如何使用CUDA+TensorRT+OpenCV。目录1、环境配置2、ResNet18图像分类2.1、数据准备2.2、模型搭建2.3、训练3、..
2022-03-25 18:00:36
4579
9
原创 yolov5s-6.0网络模型结构图
因为在6.0上做的了一些东西，所以将6.0得网络模型画了出来，之前也画过5.0的网络模型，有兴趣的小伙伴可以看下。yolov5s-5.0网络模型结构图_zhangdaoliang1的博客-优快云博客_yolov5s模型结构看了很多yolov5方面的东西，最近需要yolov5得模型结构图，但是网上的最多的是大白老师的，但是大白老师的yolov5得模型结构图不知道是哪个版本得，肯定不是5.0和6.0版本得。参考了大白老师得模型结构图和其他大佬的模型结构图，以及参考了yolov5得onnx。画出了以下得结构
2022-02-09 13:57:57
34402
96
原创 深度学习模型部署推理整合教程1
这算是一个整合性得文章，主要记录下深度学习模型部署情况。目前部署推理得框架较多，如opencv、tensorrt、openvino、onnxruntime、darknet，paddlepaddle 用到的最多的应该是trt和openvino，接下来进行一一部署。1、opencvopencv作为一个开源的视觉库，想必大家都十分得了解了，再次不进行过多的解释，opencv部署深度学习框架主要是有dnn模块完成。其中opencv部署也分cpu和gpu区别，其中GPU部署需要进行cmake编译，.
2021-09-28 12:06:30
1690
3
原创 win10+pytorch1.9+yolox模型训练
官方git:https://github.com/Megvii-BaseDetection/YOLOX.git主要步骤还是根据官方教程来，并记录一些坑。1、首先下载yolox到本地,并安装所需环境，因为我的环境之前跑v5的时候基本符合所以这一步很快就结束了。git clone git@github.com:Megvii-BaseDetection/YOLOX.gitcd YOLOXpip3 install -U pip && pip3 install -r require
2021-08-04 10:28:13
3267
4
原创 基于paddledetection+C#+emgucv目标检测
基于paddledetection或者paddlex如何训练模型就不再这说了，具体参考官方文档，接下来主要是模型如何本地部署并用C#进行调用。我用的官方给的从PaddleDetection中导出的YOLOv3模型，大家自行下载具体链接：https://bj.bcebos.com/paddlex/deploy2/models/yolov3_mbv1.tar.gz安装cmake+opencv+paddle+预测库，自行编译，不过官方给的demo里面有个小bug，需要自己自行修改。接下来在C#进行单幅图.
2021-07-22 10:23:35
1367
1
原创 YoloV5+PConv+SDIou:在YoloV5中引入PConv,助力小目标涨点
前段时间写了一篇damoYolo的训练教程，同时也对自己的数据集进行了训练，虽然效果确实不是很好，但是damoyolo的一些思想和网络结构啥的还是可以借鉴使用的，此次将damoyolo的RepGFPN结构掏出来放到v5的NECK中，测试一下对本人的数据集(小目标)效果比v5要好，大概提升2个点左右。后面已经很少搞这种的改进啥的了，都去搞边缘端部署了。具体场景如下：(不知道大家能不能看到0.0)对比正常的yolov5是检测不出来的 但是误检也是比较高的。
2025-01-23 14:53:48
269
原创 opencv-FindHomography接口-C语言实现
单应性矩阵（Homography）是一个3x3 的变换矩阵，用于描述两个平面之间的投影变换。在计算机视觉中，它通常用于将一张图像中的点映射到另一张图像中的对应点，尤其是在两张图像拍摄的是同一个平面但视角不同的情况下。
2025-01-17 17:20:45
1130
2
原创 opencv4:基于opencv4+dnn的多batch推理
OpenCV提供了大量的计算机视觉、图像处理和模式识别的算法，包括实时图像处理、视频分析、特征检测、目标跟踪、人脸识别、物体识别、图像分割、光流法、立体视觉、运动估计、机器学习和深度学习等。OpenCV中的深度学习模块（DNN）只提供了推理功能，不涉及模型的训练，支持多种深度学习框架，比如TensorFlow，Caffe,Torch和Darknet。DNN模块提供了内建的CPU和GPU加速，无需依赖第三方库，若项目中之前使用了OpenCV，那么通过DNN模块可以很方便的为原项目添加深度学习的能力。
2024-11-15 16:39:42
797
1
原创 QNN:QNN2.21+YOLOV5S部署
借助 Qualcomm® AI Engine Direct，用户可以在后端提供的功能之间进行适当的权衡 以及库大小和内存利用率方面的占用空间。Qualcomm® AI Engine Direct 架构采用模块化设计，可实现软件中的清晰分离 对于不同的硬件核心/加速器，例如 CPU、GPU 和 DSP，指定为 后端。凭借优化的网络加载和异步执行支持 Qualcomm®AI Engine Direct 可提供高度 机器学习框架和应用程序加载和执行网络图的高效接口 他们想要的硬件加速器。
2024-09-01 22:24:16
1357
原创 QNN：基于QNN+example重构之后的yolov8det部署
借助 Qualcomm® AI Engine Direct，用户可以在后端提供的功能之间进行适当的权衡 以及库大小和内存利用率方面的占用空间。Qualcomm® AI Engine Direct 架构采用模块化设计，可实现软件中的清晰分离 对于不同的硬件核心/加速器，例如 CPU、GPU 和 DSP，指定为 后端。凭借优化的网络加载和异步执行支持 Qualcomm®AI Engine Direct 可提供高度 机器学习框架和应用程序加载和执行网络图的高效接口 他们想要的硬件加速器。
2024-09-01 14:21:38
1218
4
原创 FastSAM: 在高通平台完成FastSAM部署
Qualcomm®AI Engine Direct架构旨在提供统一的 API 以及模块化和可扩展性 每个加速器库构成了全栈人工智能解决方案的可重用基础， QTI 自有框架和第三方框架（如采用 Qualcomm AI Engine Direct 的 AI 软件堆栈图所示）。Qualcomm® AI Engine Direct 是 Qualcomm Technologies Inc. (QTI) 用于 AI/ML 用例的软件架构 关于 QTI 芯片组和 AI 加速核心。代码写的太杂乱，后续整理完毕上传代码。
2024-05-30 17:25:37
451
原创 EIS(防抖):meshflow算法 C++实现
第二步过滤不需要的运动，在最后一步重建稳定的视频。从最开始的光流到meshflow再到陀螺仪，，，，哎路都块走完了。光学视频稳定：在这种方法中，不是移动整个摄像机，而是通过镜头的移动部分来实现稳定。这种方法使用了一个可移动的镜头组合，当光通过相机的镜头系统时，可以可变地调整光的路径长度。github上很少又meshflow的代码，大部分也是py的代码，一小部分是c++的，但是很多也跑不通，，不行只能自己复现了。同样，在军事应用中，无人机在侦察飞行中捕获的视频也需要进行稳定，以便定位、导航、目标跟踪等。
2024-02-22 21:32:53
1687
17
原创 python+ctypes:ctypes调用so库
ctypes 是 Python 的外部函数库。它提供了与 C 兼容的数据类型，并允许调用 DLL 或共享库中的函数。可使用该模块以纯 Python 形式对这些库进行封装。之前接到一个任务就是用python调用so库，也就是python调用c++so库，也是第一次做这个，而且要的还很急，导致我也很忙碌，很多之前做的事请都丢下了。下面就介绍了ctypes调用so的简单例子。ctypes加载yolov5.so。
2024-01-23 16:48:18
756
原创 瑞芯微：基于RK3568的Yolo-NAS部署
You Only Look Once 神经架构搜索（YOLO-NAS）是最新最先进的（SOTA）实时目标检测模型。在 COCO 数据集上进行评估并与其前身 YOLOv6 和 YOLOv8 相比，YOLO-NAS 以更低的延迟实现了更高的 mAP 值。接下来我们讲yolo-nas部署到rk中去玩玩。YOLO-NAS 作为 Deci 维护的。
2023-12-26 11:10:38
1167
原创 EIS(防抖):meshflow算法
与SteadyFlow相比，其计算稠密光流并提取出所有像素位置的pixel profiles信息用于稳像，而我们提出的MeshFlow方法在计算性能上要更好。第二步过滤不需要的运动，在最后一步重建稳定的视频。这种方法使用了一个可移动的镜头组合，当光通过相机的镜头系统时，可以可变地调整光的路径长度。github上很少又meshflow的代码，大部分也是py的代码，一小部分是c++的，但是很多也跑不通，，不行只能自己复现了。中，无人机在侦察飞行中捕获的视频也需要进行稳定，以便定位、导航、目标跟踪等。
2023-12-16 16:30:38
3157
1
原创 瑞芯微：基于RK3568的深度估计模型部署
因此，高昂的成本导致数据集的数据量较小，也意味着有监督学习的深度估计方式不适用于大规模的工业场景。随着深度学习技术的发展，该范式已经成为了估计单目图像的深度信息的一种解决方案。早期的深度估计方法大多是有监督的，即要求数据集包含单目图像和对应的深度真值支撑网络模型训练。根据单张图像估计深度信息是计算机视觉领域的经典问题，也是一项具有挑战的难题。由于单目图像的尺度不确定，传统方法无法计算深度值。对于距离的计算，常用的算法就是单目测距，但传统算法有时候并不是很准确，因此需要深度学习去进行深度估计。
2023-11-10 11:38:48
883
4
原创 瑞芯微：基于RK3568的ocr识别
２）部分能提供结构化文本的特定场景识别服务如身份证识别等，能保留识别文字结构。但这些应用还存在一些明显缺点：１）通用识别服务对图像要求高，通常针对扫描文档，要求输入图像背景干净、字体简单且文字排布整齐，对自然场景图像中的文字识别效果差；３）特定场景文字识别，识别场景较为单一，如汉王ＯＣＲ的特定场景只提供身份证识别等，无常见场景识别的功能整合；光学字符识别（Optical Character Recognition, OCR）是指对文本资料的图像文件进行分析识别处理，获取文字及版面信息的过程。
2023-09-21 10:09:15
836
2
原创 瑞芯微：基于RK3568得人脸朝向检测
至于为什么采用红外摄像机，是因为系统要求能够在全部工况环境下(包括白天、夜晚、顺光、逆光等)工作，能适应各种光源环境，即视在夜间、逆光等情况下，也能提供高品质的。首先挖掘出人在疲劳状态下的表情特征，然后将这些定性的表情特征进行量化，提取出面部特征点及特征指标作为判断依据，再结合实验数据总结出基于这些参数的识别方法，最后输入获取到的状态数据进行识别和判断。通过一个面向驾驶员的红外摄像头来实时监测头部、眼部、面部、手部等细节，可以从眼睛闭合、眨眼、凝视方向、打哈欠和头部运动等检测驾驶员状态。
2023-09-01 13:42:04
984
原创 SNPE:部署yolov7-face
上图源自Snapdragon Neural Processing Engine SDK Reference Guide，它展示了一个Deep Learning Neural Network在SNPE环境下的Workflow。把.tf/.tflite/.onnx/caffe/caffe2/.pt等网络预训练模型转换为一个能够被SNPE加载的DLC文件。后面具体内容慢慢再写，因为我也才接触snpe一个星期。使用SNPE runtime加载并运行模型。准备模型需要的输入数据。
2023-08-29 13:36:21
606
2
原创 rtdetr:paddledetection与ultralytics对比
转眼间，自DETR被提出已经过去了2年了，如今又迎来了2023年，可以说，这是Transformer框架在CV领域发力的第3个年头了。时至今日，对Transformer的质疑声越来越小了，它的强大得到了越来越多、越来越广泛的认可。可以说，如今的CV领域，Transformer已经和CNN是各分半壁江山了。
2023-07-06 20:48:41
1030
原创 瑞芯微：基于RKNN3568得ufldv2部署
RESA还提出了一种类似的方法，通过反复的特征转移来扩大感受野。除了使用不同颜色模型的特征和边缘提取方法外，有方法还提出使用投影几何和逆透视映射来利用车道线在现实世界中通常平行的先验信息。尽管许多方法尝试了不同的车道线传统特征，但在复杂的场景中，来自低级图像处理的语义信息仍然相对不足。Lane检测是自动驾驶和高级驾驶员辅助系统（ADAS）的基本组成部分，用于区分和定位道路上的车道线。在实践中，车道线检测算法被大量执行，以利用受约束的车辆计算设备为下游任务提供即时感知结果，这需要快速的检测速度。
2023-07-05 15:26:25
1639
6
原创 SNPE:基于SNPE的CRNN推理
上图源自Snapdragon Neural Processing Engine SDK Reference Guide，它展示了一个Deep Learning Neural Network在SNPE环境下的Workflow。后面具体内容慢慢再写，因为我也才接触snpe一个星期。等网络预训练模型转换为一个能够被SNPE加载的DLC文件。量化模型，以便能在Hexagon DSP上运行（可选项）。使用SNPE runtime加载并运行模型。准备模型需要的输入数据。
2023-03-28 19:04:15
323
1
原创 关于yolov8一些训练的情况
1、使用yolov8s训练(2000轮，真就一直训到了2000轮，不会象是yolov5一样收敛了就不训了)第一次map50=0.915，第一次训练依旧是2000轮，依旧是训练跑完2000轮了，map=0.91,map相差了0.5个点。(训练结果被我删除了，因为上面那个错误，然后我把run文件夹全部删除了。可以看到s模型640得map已经达到了44.9，v8n得map也已经达到了37.3，很强了，但是实际上是怎么样呢，我使用个人数据集进行了测试，本人得数据集在偏向于小目标，只有一类。
2023-01-15 10:07:08
13506
34
原创 yolov8训练自己的数据集
yolov8真的来了！U神出品的yolov8，虽然还没正式公布，但是已经放出代码了。代码有着很强烈的yolov5风格。学的速度还跟不上别人更新的速度，咋玩呀！先看看yolov8seg、det的炼丹。再看看map：：都快卷秃噜皮了。yolov8s已经达到了0.6ms了。先看看ONNX图：这个是带NMS的。1、yolov8是无锚框了。真的快要卷秃噜皮了！学习的速度跟不上别人更新的速度。训练结果：我是训练了2次；第一次map50=0.915 第二次0.911。参数量进行对比：V8s的参数量明显是比v5s大的。
2023-01-11 10:31:16
6147
9
原创 yolov5+C2F:将yolov8中高效C2F结构与v5结合，实现模型改进
并且，提供了一种设计范式， Slim-Neck ，以实现检测器更高的计算成本效益。在实验中，与原始网络相比，本文方法获得了最先进的结果（例如， SODA10M 在 Tesla T4 上以 ~100FPS 的速度获得了 70.9% mAP0.5）。类脑研究的直观理解是，神经元越多的模型获得的非线性表达能力越强。两阶段检测器在检测小物体方面表现更好，通过稀疏检测的原理可以获得更高的平均精度（mAP），但这些检测器都是以速度为代价的。真的快要卷秃噜皮了！在本人的数据集上有效涨点，但不是很多，大约1个点左右！
2023-01-06 14:27:42
5842
14
原创 yolov8s网络模型结构图
yolov8真的来了！U神出品的yolov8，虽然还没正式公布，但是已经放出代码了。代码有着很强烈的yolov5风格。学的速度还跟不上别人更新的速度，咋玩呀！先看看yolov8seg、det的炼丹。再看看map：：都快卷秃噜皮了。yolov8s已经达到了0.6ms了。先看看ONNX图：这个是带NMS的。1、yolov8是无锚框了。2、增加了C2F结构。
2023-01-06 14:09:43
20789
11
原创 YoloV5+DAMOYOLO:将DAMOYOLO中的GFPN结构与Yolov5结合
前段时间写了一篇damoYolo的训练教程，同时也对自己的数据集进行了训练，虽然效果确实不是很好，但是damoyolo的一些思想和网络结构啥的还是可以借鉴使用的，此次将damoyolo的RepGFPN结构掏出来放到v5的NECK中，测试一下对本人的数据集(小目标)效果比v5要好，大概提升2个点左右。对比之下参数量和FLOPs确实有增加，但同时map也相应地增加了，这种的增加不大，还是可以接受的。damoyolo的整体结构我们是无法看到的因为他的主干网络是。里面是txt文件，RepGFPN是可以看到的。
2023-01-05 10:45:12
6364
12
原创 DAMOYOLO:基于DAMOYOLO训练数据集详细教程
前段时间yolov7的推出引起一篇热潮，接着rmyolo紧跟潮流，后面阿里的达摩院也推出了自己的yolo算法，怎么说呢，damoyolo推出依旧不少天了，现在才写博客，因为damoyolo给我的体验感不是很好。
2022-12-14 16:15:31
3830
9
原创 YoloV5+TensorRT封装|C#调用dll实现V5+TRT目标检测
基本思想：写了一个简单的c#调用c++的dll库，完成yolov5检测图片的分类一、创建一个c++工程，详细的构建和配置环境就不详细累述了，贴代码吧，导入opencv和ncnn库即可，因为需要考虑使用C#调用，所以改的代码尽量迎合C#调用的风格main.cpp#include "connect.h" int main(int argc, char** argv){ cv::Mat image = cv::imread("F:\\sxj\\predictio。同时，也有使用QT+C++得，QT做界面也不错。
2022-11-24 17:29:43
3552
4
原创 小目标检测:基于切图检测的yolov5小目标检测
目前在目标检测方面有着众多的检测框架，比如两阶段的FasterRcnn、以及yolo系列的众多模型。yolo系列在实际中用的最多，一方面性能确实不错，另一方面具有着较多的改进型系列。今天我们主要使用的yolov5系列。先看下单幅切图检测的效果：(这里我并没有写py版本的切图合并最后nms的代码，我直接用c++写的)整体代码等我整理完成考虑上传(毕竟白嫖不讲武德的人太多)。看下C++的效果：可以看到原图的尺寸是6158*3414的大小。训练结果：不要在意map这些细节我们先打通步骤，熟悉流程。
2022-11-19 14:58:27
3077
1
原创 小目标检测:基于切图检测的yolov5小目标训练
在众多文章中有对小目标进行改进的比如添加一个检测头(四个检测头，对一些数据集确实有一定的作用)，再者一些博客有介绍多添加各种注意力机制或者一些模块改进，当然了也有一些人评判添加注意力机制的，认为它作用甚小，甚至有人认为他只是水水论文作用，对此我只是呵呵一笑哦，实践才是检测真理的唯一标准，不能因为一个注意力在你得数据集上不行就否定了整个注意力，ppyolo系列中还明确的表示了添加了注意力机制了。目前在目标检测方面有着众多的检测框架，比如两阶段的FasterRcnn、以及yolo系列的众多模型。
2022-11-19 14:31:50
6796
3
原创 yolov7-pose:基于COCO-KeyPoint的yolov7-pose训练
在美团刚刚发出yolov6，AB大神就带着yolov7来了。。。。。这速度是真快。。在 5-160 FPS 范围内速度和精度超过所有已知目标检测器。在 后不到两个星期，提出 YOLOv4 的团队就发布了更新一代的版本。YOLOv7 的论文被提交到了预印版论文平台 arXiv 上，其三位作者 Chien-Yao Wang、Alexey Bochkovskiy 和 Hong-Yuan Mark Liao 是 YOLOv4 的原班人马。
2022-11-04 10:08:14
9601
50
原创 YoloV5+CARAFE:基于YoloV5+CARAFE的小目标检测算法训练
特征上采样是许多现代卷积网络架构（例如特征金字塔）中的关键操作。其设计对于密集预测任务（如对象检测和语义/实例分割）至关重要。在这项工作中，我们提出了FEatures的内容感知重新组装（CARAFE），这是一个通用、轻量级和高效的运营商来实现这一目标。CARAFE有几个吸引人的特性：（1）大视场。与以往仅利用亚像素邻域的工作（如双线性插值）不同，CARAFE可以在大的接受域内聚集上下文信息。（2） 内容感知处理。
2022-10-28 15:15:09
3472
原创 TensorRT+图像分类：基于Shufflenetv2的图像分类---部署
上一篇我们写到了自己手动搭建ShufflenetV2网络进行了图像分类训练，对猫狗进行分类，现在我们是用TensorRT API进行部署。前面我们介绍了基于手写AlexNet以及ResNet18网络得图像分类模型得训练以及相应得TensorRT部署，但是有时候我们想使用其他的主干模型，所以这次采用了Shufflenet作为主干网络进行图像分类的训练。TensorRT+图像分类：手动搭建AlexNet得图像分类---训练_zhangdaoliang1的博客-优快云博客。
2022-10-26 10:19:53
525
原创 TensorRT+图像分类：基于Shufflenetv2的图像分类训练
前面我们介绍了基于手写AlexNet以及ResNet18网络得图像分类模型得训练以及相应得TensorRT部署，但是有时候我们想使用其他的主干模型，所以这次采用了Shufflenet作为主干网络进行图像分类的训练。TensorRT+图像分类：手动搭建AlexNet得图像分类---训练_zhangdaoliang1的博客-优快云博客TensorRT+图像分类：手动搭建AlexNet得图像分类---部署_汤姆&的博客-优快云博客。
2022-10-26 10:12:33
884
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人