小刘的博客

原文提出了一种新的UniFormer，它可以有效地统一3D卷积和时空自注意力在一个简洁的Transformer格式，以克服视频冗余和依赖。我们在浅层采用局部MHRA，大大减少了计算负担，在深层采用全局MHRA，学习全局令牌关系。大量的实验表明，我们的UniFormer在流行的视频基准测试Kinetics-400/600和Something-Something V1/V2上实现了准确性和效率之间的较好平衡。

本文将动作识别看作是一个视频-文本多模态学习问题，为动作识别提供了一个新的视角。与将任务建模为视频单模态分类问题的规范方法不同，我们提出了一个多模态学习框架来利用标签文本的语义信息。然后，我们制定了一个新的范式，即，“预训练、提示、微调”，使我们的框架能够直接重用强大的大规模Web数据预训练模型，大大降低了预训练成本。

过去大多数关于情绪识别的研究都使用了摆拍的表情照片，旨在描绘情绪表现的峰值。虽然这些研究为人们如何在面部感知情绪提供了重要的见解，但它们必然会遗漏动态信息的任何作用。在这篇综述中，我们综合了视觉科学、情感科学和神经科学的证据，探讨了动态信息在静态图像中传达的信息之外，何时、如何以及为什么有助于情感识别。动态显示提供了独特的时间信息，如运动的方向，质量和速度，补充了更高层次的认知过程和支持社会和情感推理，增强面部情感的判断。动态信息对情绪识别的积极影响在观察者受损和/或面部表情退化或微妙的次优条件下最为明显。

与基于图像的静态人脸表情识别（SFER）任务相比，基于视频序列的动态人脸表情识别（DFER）任务更接近自然表情识别场景。然而，DFER往往更具挑战性。其中一个主要原因是，特别是对于真实世界场景中的面部表情，而SFER中的图像经常呈现均匀且高的表情强度。然而，如果同等对待不同强度的表情，网络学习的特征将具有，这对DFER是有害的。为了解决这个问题，我们提出了，以帮助网络区分表达强度相对较低的样本。在两个野外动态面部表情数据集上的实验（即，DFEW和FERV39k）表明，我们的方法优于最先进的DFER方法。

在本文中，我们提出了一个简单而有效的局部-全局Transformer（LOGO-Former）和紧凑的损失正则化项在野生动态面部表情识别（DFER）。我们联合应用每个块内的局部注意力和全局注意力来迭代地学习时空表示。为了进一步提高模型的判别能力，我们通过紧凑的损失正则化项对预测分布施加约束，以增强类内相关性并增加类间距离。实验结果和可视化结果表明，我们的方法学习的歧视性时空特征表示，并提高了分类边缘。

​ MIL流水线通常包括四个步骤：实例生成、实例特征提取、实例聚合和分类。​ 在DFER的情况下，所提出的M3DFEL框架遵循该步骤：利用3DCNN从生成的3D-instances中提取特征并学习短期时间关系。DLIAM是用来模拟长期的时间关系，同时动态融合的实例到一个包。为了保持包级和实例级的时间一致性，引入了DMZ（动态归一化）。

提出了一种新的自监督方法MAE-DFER，利用大规模无标签人脸视频数据的自监督预训练来促进DFER的发展 MAE-DFER通过开发高效的LGI-Former作为编码器，并联合外观和时序面部运动掩码自编码器进行建模，改进了VideoMAE。通过这两个核心设计，MAE-DFER在具有相当甚至更好的性能的同时，大大降低了计算成本。 在6个DFER数据集上的大量实验表明，MAE-DFER在显著性上优于之前最好的监督方法

本文介绍了一些zotero的插件的下载以及用法

论文的基本结构1.title2.abstract3.introduction4.method5.experiments6.conclusion第一遍：标题、摘要、结论。可以看一看方法和实验部分重要的图和表。这样可以花费十几分钟时间了解到论文是否适合你的研究方向。第二遍：确定论文值得读之后，可以快速的把整个论文过一遍，不需要知道所有的细节，需要了解重要的图和表，知道每一个部分在干什么，圈出相关文献。觉得文章太难，可以读引用的文献。第三遍：明确文章提出什么问题，用什么方法来解决这个问题。实