Sign Language Recognition 项目使用教程
项目地址: https://gitcode.com/gh_mirrors/si/sign-language 1. 项目的目录结构及介绍
本项目是一个用于手语识别的开源项目，基于深度学习技术，特别是卷积神经网络（包括最先进的3D模型）和循环神经网络（LSTM）。以下是对项目目录结构的详细介绍：
sign-language/
├── data-set/ # 数据集相关文件
│ └── chalearn/ # ChaLearn数据集相关文件
├── image/ # 图像相关文件
├── .gitattributes # Git属性文件
├── .gitignore # Git忽略文件
├── LICENSE # MIT许可证文件
├── README.md # 项目说明文件
├── datagenerator.py # 数据生成器
├── feature.py # 特征提取
├── frame.py # 视频帧提取
├── livedemo.py # 实时演示脚本
├── model_i3d.py # I3D模型相关代码
├── model_lstm.py # LSTM模型相关代码
├── model_mobile.py # 移动端模型相关代码
├── opticalflow.py # 光流计算
├── pipeline_i3d.py # I3D模型数据处理流程
├── pipeline_mobile_lstm.py # 移动端LSTM模型数据处理流程
├── predict.py # 预测脚本
├── prepare_chalearn.py # ChaLearn数据集预处理
├── timer.py # 计时器
├── train_i3d.py # I3D模型训练
├── train_mobile_lstm.py # 移动端LSTM模型训练
└── videocapture.py # 视频捕获
目录详细介绍
- data-set/: 存放数据集相关文件，特别是ChaLearn数据集。
- image/: 存放与图像处理相关的文件。
- .gitattributes: 用于定义Git仓库中文件的属性。
- .gitignore: 用于定义Git仓库中需要忽略的文件和目录。
- LICENSE: 项目使用的MIT许可证文件。
- README.md: 项目说明文件，包含项目介绍、使用方法等。
- datagenerator.py: 用于生成训练数据的数据生成器。
- feature.py: 用于特征提取的脚本。
- frame.py: 用于从视频中提取帧的脚本。
- livedemo.py: 用于实时演示手语识别的脚本。
- model_i3d.py: 实现3D卷积神经网络（I3D）模型的代码。
- model_lstm.py: 实现循环神经网络（LSTM）模型的代码。
- model_mobile.py: 实现移动端模型的代码。
- opticalflow.py: 用于计算光流的脚本。
- pipeline_i3d.py: 用于I3D模型数据处理的流程脚本。
- pipeline_mobile_lstm.py: 用于移动端LSTM模型数据处理的流程脚本。
- predict.py: 用于进行手语预测的脚本。
- prepare_chalearn.py: 用于预处理ChaLearn数据集的脚本。
- timer.py: 用于计时的工具脚本。
- train_i3d.py: 用于训练I3D模型的脚本。
- train_mobile_lstm.py: 用于训练移动端LSTM模型的脚本。
- videocapture.py: 用于视频捕获的脚本。
2. 项目的启动文件介绍
项目的启动文件主要是 livedemo.py，该文件用于实时演示手语识别功能。以下是该文件的基本使用方法：
python livedemo.py
运行上述命令后，脚本会启动摄像头，等待用户开始信号，捕获5秒钟的视频，提取帧，计算光流，并使用训练好的神经网络模型进行手语识别。
livedemo.py 主要功能
- 启动摄像头并等待用户开始信号。
- 捕获5秒钟的视频。
- 从视频中提取帧。
- 计算光流。
- 使用神经网络模型进行手语识别并显示结果。
3. 项目的配置文件介绍
本项目没有专门的配置文件，但有一些关键的参数配置在代码中，特别是在以下文件中：
- pipeline_i3d.py: 定义了I3D模型数据处理的相关参数，如帧数、分辨率等。
- prepare_chalearn.py: 定义了ChaLearn数据集预处理的相关参数。
pipeline_i3d.py 关键参数
# 帧数设置
num_frames = 40
# 分辨率设置
frame_height = 240
frame_width = 320
prepare_chalearn.py 关键参数
# 数据集路径
dataset_path = "data_set/chalearn"
# 输出路径
output_path = "创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
