20、基于3D头部追踪的用户行为分析系统研究

基于3D头部追踪的用户行为分析系统研究

1. 注意力追踪器工作流程

注意力追踪器的工作流程涉及多个模块的协作。3D头部姿态和人脸识别结果首先进入用户配置文件和电视行为分析模块，接着进行信息的低级处理和融合，然后将结果转发给网络管理器模块。网络管理器收集来自兴趣模块、上下文跟踪模块和手势模块的所有消息，并通过WebSockets协议将这些消息发送给播放器。播放器会为消息添加视频ID和时间信息，再将其转发给GAIN模块进行数据聚合。

graph LR
    A[3D头部姿态和人脸识别结果] --> B[用户配置文件和电视行为分析]
    B --> C[信息低级处理和融合]
    C --> D[网络管理器模块]
    E[兴趣模块] --> D
    F[上下文跟踪模块] --> D
    G[手势模块] --> D
    D --> H[播放器]
    H --> I[GAIN模块]

2. MetAttention：基于视觉注意力机制的图像元数据

为了探究用户的注意力，我们实现了一种计算注意力机制，用于分析媒体发出的自下而上的刺激。该算法基于多尺度稀有性的自下而上注意力机制，主要步骤如下：
1. 特征提取 ：提取低级颜色和中级方向特征。
2. 多尺度稀有性机制应用 ：对提取的特征应用多尺度稀有性机制。
3. 融合稀有性地图 ：将多个稀有性地图融合成一个最终的显著性地图。