利用3D时空卷积神经网络实现自发面部微表情识别

利用3D时空卷积神经网络实现自发面部微表情识别

项目简介

在计算机视觉领域，视频中的面部表情识别是一个充满活力的研究方向。然而，虚假的面部表情即便是对人类来说也很难辨识。与此相反，面部微表情通常代表了一个人的真实情绪，因为它是一种无意识通过脸部表达出来的反应。尽管已有少数尝试用于识别微表情的方法，但目前的效果仍然不尽如人意。本开源项目提出了两种基于3D卷积神经网络（3D-CNN）的方法——MicroExpSTCNN和MicroExpFuseNet，旨在从视频中捕捉并识别自发的面部微表情，充分利用了空间和时间信息。

技术解析

本项目采用了严格的Keras 2.0.0版本作为深度学习框架。MicroExpSTCNN模型考虑了完整的空间信息，而MicroExpFuseNet则基于眼睛和嘴巴区域的3D-CNN特征融合，以捕获关键部位的情感变化。这种方法的创新之处在于将3D卷积应用于时间序列数据，有效地编码了微表情视频的时空特性。

应用场景

这项技术的应用范围广泛，包括但不限于：

1. 心理分析：帮助心理咨询师更好地理解客户的潜意识情感反应。
2. 安全监控：在无法直接交流的情况下，识别个体可能隐藏的情绪，提高安全评估的准确性。
3. 人工智能交互：提升AI助手理解用户情绪的能力，提供更为个性化的服务体验。

项目特点

1. 高效识别：与现有的方法相比，MicroExpSTCNN模型在CAS(ME)^2数据库上取得了87.80%的准确率，在SMIC数据库上达到了68.75%，表现出色。
2. 区域聚焦：MicroExpFuseNet利用眼部和嘴部的特征融合，更专注于表现强烈情绪的关键区域。
3. 开源共享：代码、验证数据集以及预训练权重均对外公开，便于研究者复现结果或进行二次开发。
4. 易于使用：依赖明确，只需Keras 2.0.0，即可快速上手运行。

引用该项目时，请参考以下文献：

@article{reddy2019microexpression,
    title={Spontaneous Facial Micro-Expression Recognition using 3D Spatiotemporal Convolutional Neural Networks},
    author={Sai Prasanna Teja, Reddy and Surya Teja, Karri and Dubey, Shiv Ram and Mukherjee, Snehasis},
    journal={International Joint Conference on Neural Networks},
    year={2019}
}

此项目已获得MIT许可，详细信息参见LICENSE文件。

通过利用这个开源项目，开发者和研究人员可以深入了解并实践3D-CNN在微表情识别中的应用，为未来的计算机视觉和情感智能领域开辟新的可能性。