22、利用深度学习检测复杂决策的面部标记及通用玩家建模方法

利用深度学习检测复杂决策的面部标记及通用玩家建模方法

在当今的研究领域中，利用深度学习检测面部标记以识别复杂决策过程，以及通过通用方法进行玩家建模，都是备受关注的话题。下面将详细介绍这两方面的研究内容。

利用深度学习检测面部标记

在这一研究中，主要目标是通过分析面部动作单元（AUs）来检测与决策过程相关的面部标记。

1. 数据提取与存储

   • 从面部表情中提取AUs的强度信息，强度范围为0到5，0表示该AU无活动，5表示最大强度。
   • 将获取的数据存储在CSV文件中。

2. 数据预处理

   • 分析决策前的150帧画面，对应点击确定决策的时刻。将这些帧分为基线期（0 - 74帧）和决策过程期（75 - 149帧）。
   • 考虑到参与者在20 - 75帧之间阅读问题，所以将这部分作为基线期，75 - 149帧可能反映决策过程。这种划分是基于视频游戏中句子的长度，平均阅读速度为每分钟300字，引入场景的八个句子字数在4到10之间，阅读10字句子约需2秒，对应约55帧。
   • 最终，使用736个AUs样本作为卷积神经网络（CNN）的输入，46名参与者各有8个标记为“基线”和8个标记为“决策过程”的记录。为每个17个AUs创建一个736 × 75结构的文件，其中736是数据点总数，75是考虑的帧数，一半行标记为“基线”，一半标记为“决策过程”，以便单独研究每个AU对“决策”帧的预测能力。
   </