60、面部表情识别：开发与在人机交互中的应用

面部表情识别：开发与在人机交互中的应用

1. 引言

面部表情的自动分析是人机交互（HMI）研究中的重要工具。自主机器人控制系统是复杂的系统，由传感器、决策控制系统和电机驱动系统组成。传感器可以是视觉系统、语音系统或手动控制系统。

目前，使用头部或面部运动来控制机器人或轮椅的系统，不适合有严重身体残疾、难以进行头部或面部运动的人；语音控制系统也不适合有语言障碍的人。因此，当前的研究重点是设计能够解决这些问题的系统，最佳选择是设计一种通过识别用户面部表情（如快乐、悲伤、惊讶、愤怒和中性）来发出指令的系统。

此前已开发了静态和动态的面部表情识别（FER）系统。在静态情况下（JAFFE数据库）使用MLP神经网络，通过局部方法提取数据来建模面部表情；在动态情况下（FEDTUM数据库）使用时间延迟神经网络分类器，并利用GVF蛇和欧几里得距离计算。本文将介绍改进后的动态FER系统，用于控制移动机器人在ROS（机器人操作系统）中的位移。

2. 面部表情建模

特征提取是任何形状识别系统中关键且复杂的部分，主要解决两个子问题：
- 要进行哪些测量？
- 使用原始数据中的哪些特征作为输入？

在本文中，输入数据是面部表情建模帧的特征，面部表情通过面部特征（眉毛、眼睛、嘴巴）的临时非刚性变形（0.25 - 5秒）来测量。采用了梯度向量流（GVF）蛇算法来提取可变形和非刚性测量，但该算法存在局限性，如仅适用于二值图像、手动选择初始蛇以及每张图像只能提取一个几何对象。下面将对GVF算法进行改进。

2.1 GVF场

GVF方法分两个阶段计算GVF场：
1. 计算图像的梯度 <