weixin_43856821的博客

CAM是在神经网络可解释性研究中，对最后一层全连接层修改为GAP的，之后进行可解释性地定位研究。具体推导过程：计算方法如下图所示。对于一个CNN模型，对其最后一个feature map做全局平均池化（GAP）计算各通道均值，然后通过全连接层等映射到class score，找出argmax，计算最大的那一类的输出相对于最后一个feature map的梯度，再把这个梯度可视化到原图上即可。直观来说，就是看一下网络抽取到的高层特征的哪部分对最终的classifier影响更大。

任务定义定义一：给出一段帧长为T的视频片段，将它们划分为l小段，并为每一小段分类。定义二：二分类语义分割任务。相关工作2.1 时序动作检测（定位）note：TAD/L和TAS的关系，可以类比目标检测和语义分割的关系。2.2 关键帧检测（Key-Frame Detection）复杂活动分类（Complex Activity Classification）2.3 序列分割任务（Sequence Segment Tasks）note：在时序上出更细粒度的框，不出语义标签；

Segment-based representation:基于时序分割片段的表示时序片段在模型整个训练框架中，有三种不同的用法。作为anchors，中间proposals和final predictions。

Deformable DETR的整体结构图为：变为多尺度的特征提取，在attention module中增加了reference point和sampling offset两部分。其中主要的改变为下图中的attention模块，变为deformable attention模块，query只对周围部分做attention。

在Temporal Action Proposal Generation（时序动作提名生成）任务中，对于一段未剪辑的视频 ，其中 代表视频 的第t个RGB帧， 是视频 的总帧数，有时间动作实例集合 作为注释，其中 和 分别代表动作实例 的开始和结束时间。我们希望预测得到的动作提名集合 能够尽可能地覆盖真实集合。BSN++文如其名，是对ECCV 2018上的BSN方法进行的改进。值得一提的是，BSN++的作者Haisheng Su也是BSN的原作者之一。

Anchor可以看做是图像上很多固定大小与宽高的方框，由于需要检 测的物体本身也都是一个个大小宽高不同的方框，因此Faster RCNN将 Anchor当做强先验的知识，接下来只需要将Anchor与真实物体进行匹 配，进行分类与位置的微调即可。相比起没有Anchor的物体检测算法， 这样的先验无疑降低了网络收敛的难度，再加上一系列的工程优化，使得Faster RCNN达到了物体检测中的一个高峰。其次，由于 涉及分类中的全连接网络，因此输入尺寸是固定的，造成了精度的降 低；

特色：多模态论文，去除掉目标检测领域的Region Feature。在ViT之前，针对图像像素的处理，VLP主要选择目标检测器，使密集的图像像素生成为特征性强、离散化的表示。ViLT核心思路为参考ViT，将图像划分为patch，通过线性映射的方式将patch转换为embedding，避免繁琐的图像特征抽取的过程。建议：读近期论文future work看是否有坑可以填。...

深度神经网络能够学习强大的表示来解决复杂的视觉任务，但会暴露出诸如过拟合问题之类的不良特性。为此，图像增强等正则化技术对于深度神经网络的泛化是必要的。尽管如此，大多数流行的图像增强方法都将自己局限于现成的线性变换，如缩放、翻转和颜色抖动。由于它们的手工属性，这些增强不足以生成真正的难增强示例。在本文中，作者提出了一种新的增强视角来规范训练过程。受最近成功将掩蔽图像建模（maskedimagemodeling）应用于自监督学习的启发，作者采用自监督掩蔽自动编码器来生成输入图像的失真视图。...

Git常见错误解决https://blog.youkuaiyun.com/u014361280/article/details/109703556