49、实时自动识别非情感对话头部手势的方法与挑战

实时自动识别非情感对话头部手势的方法与挑战

1. 手势分析基础：Petri 网与签名

在手势分析中，同步彩色 Petri 网是重要的工具。以“欣赏”和“不同意”手势对应的 Petri 网为例，它包含六个位置（P1 到 P6）、五个转换（Tr1 到 Tr5），以及 P2 和 P5 之间的一个严格同步。转换节点 Tr1 是启动同步的触发节点，节点 P2 是循环的入口点，节点 P4 是循环的结束点。Tr2 和 Tr3 是循环中涉及的转换，最终会创建一个 11×11 的矩阵。

每个手势都有其独特的签名，签名元组定义了多个属性，包括头部点头、摇头、倾斜的方向，眼睛聚焦情况，位置数量、转换数量、同步数量、循环数量以及是否有语音等。其中，头部点头、摇头、倾斜、眼睛聚焦和语音具有二进制值，其他属性为多值整数。以下是部分非情感对话头部手势的签名：
| 手势 | 类别 | 签名 |
| — | — | — |
| 欣赏 | 7 | ((1, 1), (0, 0), (1, 1), 0, 6, 5, 1, 0, 0, 0, 0, 0, ) |
| 同意 | 8 | ((1, 1), (0, 0), (1, 1), 1, 9, 8, 1, 0, 0, 0, 0, 1, ) |
| 傲慢 | 6 | ((1, 1), (0, 0), (1, 1), 0, 9, 8, 0, 0, 0, 0, 0, 0, 0) |
| 回避 | 9 | ((0, 0), (1, 1), (0, 0), 0, 5, 4, 1, 0, 0, 0, 0, 0, 0) |

这里对签名中的符号进行说明：头部点头、摇头或倾斜的缺失用‘0’表示；头部点头‘1’表示向