Vision Large Language Models Are Good Noise Handlers in Engagement Analysis

文章总结与翻译

一、主要内容

该研究聚焦视频数据集参与度识别中主观标签和噪声导致的模型性能受限问题，提出了一种融合视觉大型语言模型（VLMs）的框架，用于优化标注质量并指导训练过程。

核心流程

1. 数据筛选：设计包含15个是非题的结构化问卷，引导VLMs（主要采用InternVL2-8B）分析视频采样帧的行为线索（眼神、面部表情、肢体姿态、干扰因素），将VLM预测与原始标签一致的样本归为高可靠性子集，不一致的归为低可靠性子集。
2. 两阶段课程学习：第一阶段仅用高可靠性子集训练传统计算机视觉模型（如TCCT-Net、ResNet+TCN等）；第二阶段引入低可靠性子集，结合软标签优化策略，用含不确定性的软目标替代硬标签，逐步融入模糊样本。
3. 加权数据增强：基于VLM生成的可靠性分数对视频片段采样加权，优先选择高可靠性样本片段构建增强数据。

实验与结果

在EngageNet、DREAMS、PAFE三个参与度基准数据集上进行验证，所提方法在EngageNet的6种特征设置中有3种超越现有最优水平（最大提升1.21%），在DREAMS和PAFE的F1分数分别提升0.22和0.06，且在容忍度评估中接近人类标注一致性。

二、创新点

1. 首次将VLMs用于参与度数据集的标签噪声检测与修正，无需依赖预定义噪声模型即可提升标