书接上文——DETR评估可视化

原创 已于 2023-08-05 17:01:22 修改 · 2.1k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#YOLO #transformer

于 2023-07-19 14:55:36 首次发布
本文继续探讨DETR目标检测模型的评估与可视化。通过官方提供的绘图模块，展示了训练日志的可视化和精确率-召回率曲线。尽管相对朴素，但可进一步改进如加入F1值的展示。同时，结合YOLO的可视化方法，对原生推理效果进行了美化，开发了专用的可视化系统。

在上一篇文章中，详细记录了如何使用官方开源的DETR项目开发训练自己的数据集，有详细的教程，感兴趣可以看下：
《DETR (DEtection TRansformer)基于自建数据集开发构建目标检测模型超详细教程》

在文末我还附上了自己简单的绘图实践，因为没有仔细研究过DETR项目，所以也就没有发现官方的项目中其实也是有对应的评估可视化实现的，如下所示：

 对应模块如下所示：

 接下来我们看下绘图模块的源码如下所示：

"""
Plotting utilities to visualize training logs.
"""
import
了解本专栏 订阅专栏 解锁全文 超级会员免费看
RT-DETR 热力图可视化深度指南 | 支持多种颜色主题
YOLOv8项目贡献者
12-16 2673
RT-DETR 热力图可视化深度指南 | 支持多种颜色主题
DeBiFormer: Vision Transformer with Deformable Agent Bi-level Routing Attention
AI浩
10-14 1298
带有各种注意力模块的视觉Transformer在视觉任务上已表现出卓越的性能。虽然使用稀疏自适应注意力（如在DAT中）在图像分类任务中取得了显著成果，但在对语义分割任务进行微调时，由可变形点选择的关键值对缺乏语义相关性。BiFormer中的查询感知稀疏注意力旨在使每个查询关注前kkk个路由区域。然而，在注意力计算过程中，所选的关键值对受到过多不相关查询的影响，从而降低了对更重要查询的关注度。
【AI】DETR模型可视化操作
zhoulizhu的博客
01-03 2383
Detr作为目标检测的算法，不同于之前算法的就是注意力机制，注意力机制能够直观看出来模型对图像关注的点，这个直观到底怎么直观呢，我们只听别人说肯定是不行的，上手测试才是最好的方式，像论文中插图那样的使用热度图的方式来展现注意力关注的重点才能叫做直观。幸运的是，官方hands_on手册中给了模型可视化的方式，我也搬过来用一下，方便后续查看。如果有其他模型可视化的操作，也可以借鉴这些代码。
DETR特征图可视化代码
m0_37412775的博客
10-08 3852
一共分为5个步骤，
基于Transformer的DETR的注意力权重可视化，非CAM可视化技术
Flying Bulldog 的博客
05-03 4470
神经网络的可视化可以客观的解释“黑盒” ，所以一直以来都是论文中必不可少的工作。 对于深度卷积神经网络，一般用CAM进行可视化研究。遗憾的是，基于Transformer的神经网络可视化，CAM并不奏效。所以，本文章提供一套基于DETR的可视化代码。 注意：本文章为了贯彻简洁高效的思想，没有对源代码做任何的改动，仅仅添加了两个py文件对图像进行检测和可视化操作。
不知道DETR怎么训练，来看看Query匹配GT的可视化过程
CV_Autobot的博客
03-26 1057
作者|Mr.Jian 编辑|汽车人原文链接：https://zhuanlan.zhihu.com/p/592381828点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取点击进入→自动驾驶之心【目标检测】技术交流群DETR利用object query在feature map上全局预测bbox的坐标，并借助匈牙利算法（Hungarian algorithm）完成预测bbox...
【Vision Transformer】辅助理解笔记
Akiiiira的博客
09-25 1150
再比如，图书馆（source）里有很多书（value），为了方便查找，我们给书做了编号（key）。当我们想要了解漫威（query）的时候，我们就可以看看那些动漫、电影、甚至二战（美国队长）相关的书籍。为了提高效率，并不是所有的书都会仔细看，针对漫威来说，动漫，电影相关的会看的仔细一些（权重高），但是二战的就只需要简单扫一下即可（权重低）。当我们全部看完后就对漫威有一个全面的了解了。
Flamingo论文阅读
weixin_46231495的博客
01-01 924
多模态模型Flamingo论文阅读
51c自动驾驶~合集39
whaosoft~aiotの开发板商城
12-04 2103
我自己的原文哦~ https://blog.51cto.com/whaosoft/12707676大幅超越所有SOTA！地平线DiffusionDrive：生成式方案或将重塑端到端格局？近年来，由于感知模型的性能持续进步，端到端自动驾驶受到了来自工业界和学术界的广泛关注，端到端自动驾驶算法直接从原始传感器采集到的信息输入中学习驾驶策略。这种基于数据驱动的方法为传统的基于规则的运动规划提供了一种可扩展且强大的替代方案，而传统的基于规则的运动规划通常难以推广到复杂的现实世界驾驶环境。为了有效地从数据中学习驾
DETR的学习与分析
记录
10-24 4324
通过对Transformer在语义分割任务中应用的学习，发现自己对Query-Based的模型十分陌生，而这些模型大多都是基于DEtection TRansformer这一模型设计的，于是便找来DETR的原论文进行学习与分析。
ICCV2021 | PnP-DETR：用Transformer进行高效的视觉分析
CV技术指南（微信公众号）
11-23 2068
前言 DETR首创了使用transformer解决视觉任务的方法，它直接将图像特征图转化为目标检测结果。尽管很有效，但由于在某些区域(如背景)上进行冗余计算，输入完整的feature maps的成本会很高。 在这项工作中，论文将减少空间冗余的思想封装到一个新的轮询和池(Poll and Pool, PnP)采样模块中，该模块具有通用和即插即用的特点，利用该模块构建了一个端到端的PnP-DETR体系结构，该体系结构可以自适应地在空间上分配计算，以提高计算效率。 本文来自公众号CV技术指南的论文分享.
通过显式寻找物体的 extremity 区域加快 DETR 的收敛：Conditional DETR
我爱计算机视觉
08-22 1311
关注公众号，发现CV技术之美本文系52CV粉丝Charles投稿。原文：https://zhuanlan.zhihu.com/p/401916664在这篇文章，我们解读一下我们发表在 IC...
【DETR】
天风的人工智能博客
09-26 753
论文代码DETR（Data-efficient Image Transformer）是一种用于目标检测任务的深度学习模型。它与传统的目标检测方法不同，采用了Transformer架构，将目标检测问题转化为一个序列到序列的问题。以下是DETR模型的一些关键特点：Transformer架构： DETR采用了Transformer架构，这是一种用于自然语言处理的架构，但在DETR中被用于图像处理。这种架构允许模型同时处理整个图像，而不是传统的滑动窗口或区域提议方法。
【DETR】1、DETR | 首个使用 Transformers 的目标检测器
呆呆的猫的博客
10-25 3559
本文主要介绍 DETR
【RT-DETR训练性能评估指标】结果文件分析 | mAP、Precision、Recall、FPS、IoU (科研必备)
热门推荐
Snu77的博客
01-21 1万+
这篇博客，主要给大家讲解我们在训练RT-DETR时生成的结果文件中各个图片及其中指标的含义，帮助大家更深入的理解，以及我们在评估模型时和发表论文时主要关注的参数有那些。本文通过举例训练过程中的某一时间的结果来帮助大家理解，大家阅读过程中如有任何问题可以在评论区提问出来，我会帮助大家解答。首先我们来看一个在一次训练完成之后都能生成多少个文件如下图所示，下面的文章讲解都会围绕这个结果文件来介绍。二、评估用的数据集。
Detr空间注意力热图及语义注意力热图可视化
wulele2的博客
04-13 1万+
文章目录前言1、matplotlib常用操作2、hook简介3、可视化resnet50最后一层特征图2.1.引入库 前言  本篇主要借助matplotlib可视化pytorch中的特征图可视化，首先介绍matplotlib模块使用，其次介绍pytorch中hook的用法，最后以若干例子来进行可视化分析。 1、matplotlib常用操作 2、hook简介 3、可视化resnet50最后一层特征图 ''' 代码来源于facebook_detr ''' #导入包 import requests from PI
[转]RT-DETR推理详解及部署实现-优快云博客
chinagudujian的专栏
01-04 6362
是由 Baidu 提出的基于 transformer 的端到端实时检测器，本篇文章主要分享博主在实现 RT-DETR 推理和部署时做的一些尝试，不涉及任何的原理性分析。若有问题欢迎各位看官批评指正😄博主在这里针对 RT-DETR 的预处理和后处理做了简单分析，同时与大家分享了 C++ 上的实现流程，目的是帮大家理清思路，更好的完成后续的部署工作😄。
RT-DETR 热力图可视化 | 一张图片生成一张热力图
YOLOv8项目贡献者
04-12 2053
RT-DETR 热力图可视化 | 一张图片生成一张热力图
DETR训练实践以及自动预标注脚本、测试可视化脚本
在努力的松鼠的博客
06-24 3915
目录自动预标注脚本 测试可视化脚本DETR训练自己的数据集总所周知，标注是一个体力活，而我又是一个懒人，所以我就自己写了个脚本。。。并不要求高精度，只是想体验用DETR训练自己的数据集又不想标注的人可以借鉴或使用。输入方式可以调用摄像头或者读取视频、图片三种方式来获取输入，我加了print提示，可以直接运行查看哈。输入0，1，2来选择功能分为3种，查看原图，检测可视化，图像标注，由于这次我是用我的人脸做了一个数据集，所以取名face detection。 如果选择image label，接下来是选择数据集类
rt——detr复现
最新发布
02-28
### 如何复现 RT-DETR 模型 #### 准备工作 为了成功复现 RT-DETR 模型，需先安装必要的依赖库并准备数据集。确保 Python 和 PyTorch 已经正确配置好环境。 ```bash pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu113 ``` 接着按照项目文档说明下载 COCO 数据集或其他适用的数据集[^1]。 #### 配置实验环境 创建一个新的虚拟环境来隔离项目的依赖关系： ```bash conda create -n rt-detr python=3.8 conda activate rt-detr ``` 随后克隆官方仓库或对应的实现代码库，并进入该目录下执行安装命令: ```bash git clone https://github.com/some/repo.git cd repo pip install -r requirements.txt ``` #### 调整参数设置 根据具体需求调整超参数设定，比如批量大小(batch size)，学习率(learning rate)等。这些参数通常位于配置文件中，如 `config.yaml` 或者通过命令行传递给训练脚本。 对于 RT-DETR 的特定调优建议可以参考相关文献中的最佳实践部分。 #### 开始训练过程 启动训练之前确认所有的路径都已正确定义，特别是指向预处理后的图像以及标注信息的位置。运行如下指令开始训练流程： ```bash python train.py --data_path /path/to/dataset --output_dir ./outputs/ ``` 此过程中应当监控 GPU 使用情况以及其他性能指标以确保一切正常运作。 #### 测试与评估 完成一轮完整的迭代之后，利用测试集合验证模型的表现。这一步骤同样可以通过相应的 Python 脚本来完成： ```bash python eval.py --model_weights outputs/checkpoint.pth --eval_data test_set.json ``` 上述操作能够帮助理解当前版本下的检测精度和其他重要统计量。 #### 结果分析 最后收集所有得到的结果并与原始论文对比差异所在之处。如果发现某些方面存在差距，则可能需要进一步优化网络结构或是探索其他潜在因素的影响。
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Together_CZ

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值