Mrwei_418的博客

Cross-Drone Transformer Network for Robust Single Object Tracking论文阅读笔记Abstract无人机在各种应用中得到了广泛使用，例如航拍和军事安全，这得益于它们与固定摄像机相比的高机动性和广阔视野。多无人机追踪系统可以通过从不同视角收集互补的视频片段，为目标提供丰富的信息，特别是当目标在某些视角中被遮挡或消失时。然而，在多无人机视觉追踪中处理跨无人机信息交互和多无人机信息融合是具有挑战性的。最近，Transformer在自动建模视觉追踪的模

摘要—基于无人机的车辆检测旨在定位航拍图像中的车辆位置和类别。它促进了智能城市交通管理和灾难救援的发展。研究人员在这一领域做出了大量努力，并取得了相当的进步。尽管如此，在物体难以区分的情况下，特别是在光线不足的情况下，这仍然是一个挑战。为了解决这个问题，我们构建了一个大规模的基于无人机的RGB-红外车辆检测数据集，称为DroneVehicle。我们的DroneVehicle收集了28,439对RGB-红外图像对，覆盖了从白天到夜晚的城市道路、住宅区、停车场和其他场景。

多无人机多目标 追踪的目标是通过多个无人机的协作来检测和追踪目标，并将不同无人机的物体身份进行关联，这可以克服单一无人机物体追踪的不足。为了解决多无人机多目标追踪任务中身份关联和目标遮挡的关键挑战，我们收集了一个名为MDMT的具有遮挡意识的多无人机多目标追踪数据集。它包含了88个视频序列，共39,678帧，包括11,454个不同的人、自行车和汽车ID。MDMT数据集包含了2,204,620个边界框，其中543,444个边界框包含目标遮挡。

搭载摄像头的无人机可以从更广阔的视角在空中动态跟踪目标，与静态摄像头或地面移动传感器相比具有优势。然而，由于外观变化和严重遮挡等多种因素，使用单架无人机准确跟踪目标仍然是一个挑战。在本文中，我们收集了一个==新的多无人机单目标跟踪（MDOT）数据集，该数据集包含92组由两架无人机拍摄的113,918帧高分辨率视频片段，以及63组由三架无人机拍摄的145,875帧高分辨率视频片段。此外，特别为多无人机单目标跟踪设计了两种评估指标，即自动融合得分（AFS）和理想融合得分（IFS）==。

对于任何物体检测器来说，获得的 box proposals或queries需要被分类并回归到真实框上。(也就是对于每个预测框与要找到相对应的GT)常见的最终预测解决方案是直接最大化每个proposal与真实框之间的重叠，然后通过winner-takes-all ranking或非最大值抑制进行分类。本文提出了一个简单有效的替代方案。对于Proposals回归，即回归到Proposals和真实边界框之间的交集区域。交集区域就是Proposal中包含GT也就是目标的区域。

一对一（o2o）标签分配对基于变换器的端到端检测起着关键作用，最近已经被引入到全卷积检测器中，用于端到端密集检测。然而，o2o可能因为正样本数量有限而降低特征学习效率。尽管最近的DETRs引入了额外的正样本来缓解这个问题，但解码器中的自注意力和交叉注意力计算限制了其在密集和全卷积检测器中的实际应用。在这项工作中，我们提出了一种简单而有效的一对少数（o2f）标签分配策略，用于端到端密集检测。除了为每个对象定义一个正锚点和多个负锚点之外，我们还定义了几个软锚点(soft anchor)，同时充当正负样本。

链接：https://www.youtube.com/watch?

根据结果，我们得出结论，对于需要NMS后处理的实时检测器，无锚点检测器在具有相当精度的情况下比基于锚点的检测器性能更好，因为前者的后处理时间比后者少得多，这在之前的工作中被忽略了。为了分析所提出的IoU感知查询选择的有效性，我们可视化了在val2017数据集上通过查询选择选出的编码器特征的分类分数和IoU分数，如图6所示。（iii）我们的工作为当前端到端检测器的实时实现提供了一种可行的解决方案，所提出的检测器可以通过使用不同的解码器层灵活调整推理速度，无需重新训练，这在现有的实时检测器中很难实现。

本文主要介绍了RPN网络，Faster-RCNN网络就是RPN网络和Fast RCNN网络的结合体。RPN的输入是任意大小的图像，输出为一系列的矩形object proposals，并且每个proposal都带有着对应的分数。我们采用了全卷积网络实现了这个过程，最终目标是让RPN与Fast RCNN共享计算。为了生成region propsals，在最后一个共享卷积层输出的特征图上增加一个滑动窗口（slide a small network）。

经过NMS之后，对于剩余的proposal再使用回归器精细修正候选框位置。

目前，小样本图像目标检测方法多基于经典的俩阶段目标检测算法Faster R-CNN作为主干网络，当然也有将YOLO，SSD一阶段目标检测算法作为主干网络的。检测过程中不仅需要提取分类任务所关注的高层语义信息，还要获取低层级像素级信息实现目标的定位。

Swin Transformer阅读笔记

将目标检测作为一个集合预测问题来解决。简化了检测的整体流程，有效的消除了许多人工设计的部分，比如NMS，anchor这些针对任务类型的先验知识。DETR的主要组成有一个基于集合的全局损失函数，通过二分图匹配来为每个目标确定唯一的预测结果，以及一个transformer的encoder-decoder架构。给一个固定长度（论文中固定为100）的可以学习的object queries，DETR通过物体和全局图片内容之间的关系，直接并行输出一组预测集。DETR概念上非常简单，而且也不要求你有拥有专业知识。

An Image is worth 16x16 Words: Transformer for image recognition at scale(论文阅读笔记)

Attention is all you need论文阅读笔记