8、视频中的面部表情识别与双节点串联通信网络研究

视频中的面部表情识别与双节点串联通信网络研究

1. 面部表情识别研究

面部表情是人类表达情感的重要方式之一，在视频中进行面部表情识别（FER）具有重要的研究价值。传统的FER方法存在一些局限性，如计算成本高、无法充分利用视频的时空信息等。为了解决这些问题，提出了一种结合混合特征提取器和混合CNN - LSTM分类器的自动FER模型。

1.1 相关工作回顾

许多研究人员提出了不同的FER方法，但都存在各自的问题：
| 方法 | 优点 | 缺点 |
| — | — | — |
| 基于深度时空网络的方法 | 能有效区分视频中人物的表情 | 计算时间长，参数多 |
| 基于Siamese动作单元注意力网络的方法 | 更关注面部数据分析 | 难以收集帧间的时间相关性，分类效果不佳 |
| 多模态循环注意力网络（MRAN） | 促进了多模态FER的发展 | 处理复杂数据效率低 |
| 基于多注意力的深度神经网络 | 引入三种注意力操作提高FER系统效率 | 无法处理自然表情数据库的数据 |
| 深度监督注意力网络（DSAN） | 训练过程更方便 | 数据量小时难以提供准确结果 |
| 多任务学习框架 | 收集各种表情的互补特征 | 基于外观的特征对光照条件敏感 |
| 细粒度FER | 预测不依赖预定义类 | Ekman的定义系统不适用 |
| 基于图像滤波器的子空间学习（IFSL）方法 | 有效去除不必要数据 | 仅适用于两类LDA，多类LDA时失效 |
| 基于CNN - LSTM模型的FER技术 | 提高识别准确率 | 计算复杂度高 |

1.2 方法