86、实时印度手语手势识别与机电襟翼作动系统控制器设计

实时印度手语手势识别与机电襟翼作动系统控制器设计

1. 实时印度手语手势识别

在交流方式中，手势是残障人士进行非语言交流的重要手段，也是手语的重要组成部分。全球存在多种手语，不同手语在机器识别方面的进展各异。由于关于印度手语的相关研究相对较少，其手势识别技术有很大的提升空间，同时合适且完善的数据集的可用性也需要考虑。

• 相关工作回顾
  • 以往的手语识别工作采用了多种方法。一些研究使用静态手势图像作为输入，例如有人使用同质纹理描述符计算手指的关键位置，还有人实现凸轮轴算法来跟踪手部和检测特征，并使用基于特征值加权、欧几里得距离的分类器识别印度手语。
  • 许多工作专注于视频和实时手势识别，如使用美国手语的视频数据进行识别，采用隐马尔可夫模型和各种基于神经网络的特征进行手语识别，以及使用隐马尔可夫模型实现台湾手语的实时连续识别。
  • 还有基于传感器的方法，如使用手套、网、电线等，但这些设备不便持续携带或佩戴，因此目前更关注基于图像和视频的方法。

工作类型	具体方法	手语类型
静态图像	同质纹理描述符、凸轮轴算法	印度手语
视频和实时	隐马尔可夫模型、神经网络特征	美国手语、台湾手语
传感器	手套、网、电线等	-

• 印度手语概述
  2011 年，印度聋人社区推动了对印度手语（ISL）的关注、教学和研究，促成了印度手语研究与培训中心的成立。尽管 ISL 在印度聋人社区中使用，但尚未在聋人学校广泛应用于教学。根据 2011 年的人口普查，印度聋人总数约为 500 万，他们的需求长期被忽视，旧的教学系统需要改进，因此需要进一步的研究。本文考虑了 ISL 中的 26 个英文字母手势。

• 数据集概述
  训练数据集包含 26 个英文字母对应的 ISL 手势，每个字母使用 3000 张图像进行训练，总共使用 78000 张图像。其中 60%的图像来自 ISL 标准数据集，40%使用 OpenCV 生成。测试时，每个字母使用 750 张图像，总共使用 19500 张图像。

• 硬件和系统概述
  该研究旨在提供一个基于软件的通信系统，让残障人士能够自然地与计算机交互。基于视觉的方法仅需摄像头作为输入设备，实现了人与计算机的自然交互。实验使用了一台便携式计算机，配备 4.0GHz Intel Core i7 处理器、Ubuntu 18.04.5 LTS（64 位）操作系统、8GB RAM 和分辨率为 1080×1920 像素的网络摄像头，使用 Python 3.5 进行实验。实时从视频中提取的帧首先进行预处理，包括噪声过滤和特征提取，然后将预处理后的图像输入模型，模型检测手势对应的符号并返回文本输出。

graph LR
    A[视频帧] --> B[预处理]
    B --> C[特征提取]
    C --> D[模型检测]
    D --> E[文本输出]

2. 方法

• 数据采集 ：使用网络摄像头从视频序列中捕获包含不同字母和数字的图像，考虑 26 个英文字母。大多数现代设备都有内置摄像头，方便捕获图像以进行后续处理。
• 图像预处理 ：此步骤包括去除噪声、调整对比度、亮度、平滑度和裁剪，还涉及颜色过滤、图像增强和分割过程。
• 图像增强和过滤 ：将网络摄像头捕获的 RGB 帧转换为 HSV 图像，因为 RGB 图像对光照条件非常敏感。HSV 颜色空间分为色调（H）、饱和度（S）和值（V）三个分量，便于区分皮肤颜色和非皮肤颜色信息。通过设置 HSV 值范围提取手指和手部的准确边界，然后对帧进行过滤、平滑处理，最终得到手部区域为白色、背景为黑色的二值帧。
• 特征提取 ：检测比周围区域更亮或更暗的点和区域，每个手势都有独特的特征，因此特征提取对于检查手势是否存在于数据集中很重要，将手势的最后一帧与数据集中的手势特征进行比较以进行分类。
• 模型工作原理 ：使用卷积神经网络（CNN）训练数据集，模型接受 100×100 大小的图像。添加了具有卷积、池化和扁平化层的密集层，训练时包含 40%的丢弃率。模型还包括 ReLU、SoftMax 等激活函数，使用图像数据增强来扩展训练数据集，提高性能。使用最大池化提取图像的低级特征，如边缘、点等。

3. 实验结果

实验达到了 92.25%的准确率。然而，如果存在与皮肤颜色相似的移动物体，这些物体会被视为手部的一部分，导致性能下降。

字母	准确率（%）
A	89
B	90
C	95
D	90
E	91
F	100
G	92
H	91
I	94
J	96
K	88
L	92
M	90
N	94
O	96
P	88
Q	89
R	97
S	88
T	90
U	94
V	94
W	90
X	90
Y	96
Z	88

与其他工作的比较表明，该模型实时工作且使用裸手，减少了对特殊设备的依赖。在训练过程中，随着训练轮数的增加，准确率逐渐提高，损失逐渐降低。

4. 机电襟翼作动系统控制器设计

在飞机行业中，多电飞机（MEA）倡议是一项重大的技术飞跃，传统的液压系统正逐渐被机电作动器（EMA）取代。本研究针对多电飞机中的机电襟翼作动系统进行建模和控制器设计，包括 PID 控制器、传统 Smith 预测器和先进 Smith 预测器。

• 控制器设计需求
  控制器的主要要求是襟翼偏转的超调量最小（≤0.3），因为襟翼角度的微小变化会影响机翼弯度和攻角（AOA）。传统和先进 Smith 预测器包含预测部分，可补偿实际系统中存在的时间延迟。先进 Smith 预测器除了预测部分外，还包含三个控制器，有助于通过干扰抑制和伺服跟踪提高系统的整体性能。

控制器类型	特点
PID 控制器	基本控制，调节系统响应
传统 Smith 预测器	补偿时间延迟
先进 Smith 预测器	补偿延迟，含三个控制器，提高性能

• 控制器工作原理
  PID 控制器根据系统的误差进行比例、积分和微分控制，以调整襟翼的偏转角度。传统 Smith 预测器通过预测系统的延迟来提前调整控制信号，减少延迟对系统性能的影响。先进 Smith 预测器在传统预测器的基础上，增加了三个控制器，进一步提高了系统的抗干扰能力和跟踪性能。

graph LR
    A[输入信号] --> B[PID 控制器]
    B --> C[传统 Smith 预测器]
    C --> D[先进 Smith 预测器]
    D --> E[机电襟翼作动系统]
    E --> F[输出反馈]
    F --> G[误差计算]
    G --> B

通过对实时印度手语手势识别和机电襟翼作动系统控制器设计的研究，我们可以看到在不同领域中，利用先进的技术和方法可以解决实际问题，提高系统的性能和用户体验。在未来，可以进一步优化这些方法，拓展其应用范围。例如，在印度手语识别方面，可以开发移动应用程序，实现手语的实时识别和语音输出；在机电襟翼作动系统方面，可以进一步研究控制器的参数优化，提高系统的稳定性和可靠性。

实时印度手语手势识别与机电襟翼作动系统控制器设计

5. 印度手语识别的优势与挑战

• 优势
  • 自然交互 ：基于视觉的方法仅需摄像头，实现了人与计算机的自然交互，无需额外复杂设备，方便残障人士使用。
  • 实时性 ：该模型能够实时识别印度手语，为即时交流提供了可能，减少了沟通的时间成本。
  • 可扩展性 ：可以通过扩展数据集和优化模型，识别更多的手势和符号，为更复杂的交流场景提供支持。
• 挑战
  • 环境干扰 ：如存在与皮肤颜色相似的移动物体，会被误判为手部的一部分，导致识别准确率下降。
  • 数据集局限性 ：目前的数据集可能无法涵盖所有的手势变化和场景，需要进一步丰富和完善。
  • 计算资源需求 ：卷积神经网络的训练和运行需要较高的计算资源，对于一些设备性能较低的用户来说可能存在困难。

6. 机电襟翼作动系统控制器的性能评估

• 超调量控制 ：通过实验验证，三种控制器（PID、传统 Smith 预测器和先进 Smith 预测器）在不同程度上实现了襟翼偏转超调量最小（≤0.3）的要求。其中，先进 Smith 预测器在超调量控制方面表现最佳，能够更精确地控制襟翼的偏转角度。
• 延迟补偿 ：传统和先进 Smith 预测器的预测部分有效地补偿了实际系统中存在的时间延迟，提高了系统的响应速度和稳定性。先进 Smith 预测器的三个控制器进一步增强了系统的抗干扰能力和跟踪性能。
• 系统稳定性 ：在不同的工况下，三种控制器都能保证系统的稳定性，但先进 Smith 预测器在面对复杂干扰时，能够更快地恢复稳定状态，表现出更好的鲁棒性。

控制器类型	超调量控制	延迟补偿	系统稳定性
PID 控制器	一般	无	一般
传统 Smith 预测器	较好	有	较好
先进 Smith 预测器	最佳	有，更优	最佳

7. 未来发展方向

• 印度手语识别
  • 多模态融合 ：结合语音、表情等多种模态信息，提高手语识别的准确率和丰富度。
  • 移动端应用 ：开发基于移动设备的手语识别应用程序，方便用户在不同场景下使用。
  • 个性化定制 ：根据不同用户的手势习惯和特点，进行个性化的模型训练，提高识别的适应性。
• 机电襟翼作动系统控制器
  • 智能优化 ：利用人工智能算法，如遗传算法、粒子群算法等，对控制器的参数进行智能优化，提高系统的性能。
  • 故障诊断与容错控制 ：研究故障诊断技术，及时发现系统中的故障，并采取容错控制策略，保证系统的可靠性。
  • 与其他系统的集成 ：将机电襟翼作动系统控制器与飞机的其他系统进行集成，实现更高效的协同工作。

graph LR
    A[印度手语识别] --> B[多模态融合]
    A --> C[移动端应用]
    A --> D[个性化定制]
    E[机电襟翼作动系统控制器] --> F[智能优化]
    E --> G[故障诊断与容错控制]
    E --> H[与其他系统集成]

8. 总结

本文介绍了实时印度手语手势识别和机电襟翼作动系统控制器设计的相关内容。在印度手语识别方面，通过使用卷积神经网络和一系列预处理技术，实现了较高的识别准确率，但仍面临环境干扰和数据集局限性等挑战。在机电襟翼作动系统控制器设计方面，PID 控制器、传统 Smith 预测器和先进 Smith 预测器都能在一定程度上满足系统的要求，其中先进 Smith 预测器表现最佳。未来，我们可以通过进一步优化方法和拓展应用范围，提高这两个领域的技术水平，为社会的发展和进步做出贡献。无论是在帮助残障人士进行交流，还是在提高飞机的性能和安全性方面，这些技术都具有重要的意义。