9、人类细心程度的在线识别

人类细心程度的在线识别

在人机协作的场景中，机器人能否在线识别人类操作的细心程度是一个关键问题。本文将详细介绍一种利用光学流和神经网络实现人类细心程度在线识别的系统，并对其性能进行评估。

系统架构

系统的架构结构从机器人摄像头收集图像，并从计算出的光流中提取特征，以区分细心（C）和不细心（NC）的动作。具体步骤如下：
1. 光流计算 ：使用密集方法计算光流（OF），并对光流大小应用阈值，只考虑图像中变化显著的部分。
2. 特征提取 ：从光流中提取运动速度的水平分量u和垂直分量v，并计算切向速度的范数，公式如下：
[ V (t) = \sqrt{u(t)^2 + v(t)^2 + \Delta_t^2} ]
架构以15Hz的频率提取该特征。
3. 运动分割 ：分割模块采用启发式阈值机制，仅考虑重要数据。当速度V(t)超过阈值τ时检测到运动开始，当速度低于τ时检测到运动结束。如果时间长度低于1秒，则丢弃该运动；否则，将大小为1×K的时间序列输入分类器。

模型训练与数据集

分类器模型采用具有一个隐藏层和一个输出层的神经网络。隐藏层是一个32神经元的双向LSTM，输出层有两个神经元和一个Sigmoid激活函数。训练使用ADAM优化算法、二元交叉熵损失函数、学习率指数衰减和批量大小为30。为防止过拟合，引入了验证损失的早期停止条件（耐心设置为5），并采用零填充和掩码技术处理不同时间长度的序列。

数据集通过邀请14名志愿者在iCub面前移动四个不同重量和内容的杯子来收集。数据集包含878