35、实时人际同步检测与自闭症诊断方法研究

实时人际同步检测与自闭症诊断方法研究

实时人际同步检测

实验设置

在节拍器条件下，会指导儿童将每个目标动作的开始与计算机节拍器的节拍同步；而在人际条件下，会要求儿童与通过蓝牙耳机跟随节拍器节拍的临床医生同步他们的动作。为确保每个儿童理解任务，采用了多种策略，例如临床医生对活动进行视觉演示、使用视频说明活动，以及在需要时进行有手动反馈的练习试验。动作和条件的顺序是随机的，但每个参与者总是从慢速开始，每种动作有三种速率，分别是快速（每节拍774毫秒）、中速（每节拍1035毫秒）和慢速（每节拍1384毫秒）。在每次试验开始时，会呈现四个节拍，让参与者熟悉节拍速率。

动作分割方法

网络架构

• 动作分类分支（ACB） ：从裁剪后的单人视频V中选取一个包含N（N < T）个RGB帧的时间窗口，将这些帧堆叠成具有N * 3通道的特征图，然后输入到以在ImageNet上预训练的Resnet为骨干网络中，对中心帧的动作类别进行分类。这里选择Resnet - 34作为骨干网络，并且可以通过调整单个层中残差块（包含多个卷积层和捷径连接的网络单元）的数量来控制骨干网络的复杂度。
• 边界预测分支（BPB） ：BPB已被证明能有效解决动作分割中的过度分割错误。受相关研究启发，采用类似的BPB - PR策略，但网络架构不同。将BPB视为一个二分类问题，引入Focal Loss进行边界预测。利用Resnet第三层生成的特征作为BPB的输入，通过批量归一化层、全连接层和softmax激活函数将输入映射到边界分类。