2025_NIPS_egoEMOTION: Egocentric Vision and Physiological Signals for Emotion and Personality Recogn

文章核心总结

主要内容

egoEMOTION 是首个结合第一视角视觉信号与生理信号的数据集，用于真实场景下的情绪和人格识别。数据集包含43名参与者、超50小时同步记录，涵盖诱导式视频观看和自然日常活动两类场景，通过多种传感器采集数据并结合自我报告标注，同时定义了连续情绪回归、离散情绪分类、人格推断三大基准任务，验证了第一视角信号（尤其是眼动和头部运动）在情绪与人格识别中的表现优于传统生理传感器。

创新点

1. 首个聚焦第一视角场景的多模态情绪与人格识别数据集，同时覆盖诱导式和自然主义任务，填补现有第一视角基准忽视内部情感状态的空白。
2. 整合丰富数据维度，包括眼动视频、头部IMU、生理信号（ECG、PPG等）与精细化自我报告（情绪圆环模型、加权情绪轮、大五人格模型），支持复杂情感建模。
3. 验证了第一视角信号的优越性，传统机器学习方法基于该信号的识别效果（连续情绪F1=0.75、人格推断F1=0.59）优于传统生理传感器和部分深度学习模型，为真实场景情感感知提供新方向。
4. 开源数据集及基准实现，兼顾伦理规范与数据可访问性，为后续情感驱动的人机交互研究提供基础。

---

翻译部分（Markdown格式）

Abstract

理解情感是预测人类行为的核心，但当前第一视角视觉基准大多忽视了塑造人类决策与行动的情绪状态。现有第一视角感知任务聚焦于身体活动、手部-物体交互和注意力建模，默认参与