17、用于空中书写识别的融合网络

用于空中书写识别的融合网络

1. 空中书写概述

空中书写无需在用户手上附加特殊设备，根据连续书写的字符，通常可分为两种书写类型：
- 覆盖书写风格 ：字符写在图像传感器视野内一个固定高度和宽度的虚拟框中，下一个字符会覆盖在前一个字符之上。这种书写方式虽不自然，但易于管理，适合许多应用场景。
- 朝写风格 ：字符从左向右书写，在很多方面类似于传统书写。然而，这种书写方式更为复杂，因为字符的大小和形状可能会有所不同，而且在无约束区域书写字符会导致倾斜，影响系统的准确性。

空中书写与传统书写在很多方面存在差异，例如在空中书写时没有任何视觉或触觉反馈，即使是同一书写者书写的字符，其手势的形状和大小也可能不一致。因此，尽管已经提出了许多识别空中书写的技术，但为实际应用创建一个强大的系统仍然具有挑战性。

2. 相关工作

空中书写识别研究已超 20 年，仍是人机交互应用的活跃研究领域。空中书写轨迹通常用空间或时间空间来表示：
- 空间空间 ：书写轨迹用二维图像表示，类似于传统书写。每个字符通过将参考点的位置投影到二维视觉平面生成。通过将空中书写视为图像，可以应用卷积神经网络（CNN）等先进技术来识别字符。
- 时间空间 ：轨迹由包含书写序列信息的多个信号表示。常用特征包括手的位置序列、书写速度以及轨迹中连续点之间的角度。传统算法如隐马尔可夫模型（HMM）、动态时间规整（DTW）和条件随机场（CRF），将书写轨迹建模为参考点在时间空间中的转换。这些技术在处理简单手势（如数字手势）时效