48、社交机器人非情感对话头部手势的实时自动识别

社交机器人非情感对话头部手势的实时自动识别

1 引言

近年来，发达国家面临着老龄化人口增长的问题。预计到2050年，世界人口将趋于平稳并开始下降，这将导致人类护理人员严重短缺。社交或辅助机器人将在医疗、老年护理、教育、娱乐以及太空和深海探索等领域发挥重要作用。为了实现更好的人机交互，社交机器人需要理解人类的情感、言语和手势，并生成人类可理解的自然手势和言语。

目前，人类与机器人的交互大多是非情感的。虽然已有研究提出了基于点头、摇头、倾斜头部和眼睛聚焦的多姿态对话头部手势分析和生成模型，以及基于同步有色Petri网的多媒体手势分析和训练模型，但缺乏能够在实时交互中持续检测对话手势的实现方案。

本文旨在分析非情感对话头部手势的运动序列、眼睛聚焦、循环运动及其同步性，并实现同步有色Petri网，以实时自动识别野外环境中的手势边界和手势。通过提取每个手势的元属性向量，并与知识库中的向量进行匹配，实现手势的识别。同时，利用基于头部运动和眼睛聚焦的手势分类方法，提高相似手势的区分度。

2 背景

2.1 对话非情感头部手势

对话头部手势是不同头部运动类型和头部姿势的组合序列，并与口语短语同步。常见的对话头部手势有36种，如接受/欣赏、争论、傲慢等。分类和标记这些手势的主要属性包括点头、摇头、头部倾斜、眼睛聚焦、重复运动以及多器官运动与言语之间的同步性。缺乏同步会导致手势的错误标记，对话头部运动与对话之间的时间同步有六种不同的Allen同步方式，包括顺序、并发、开始同步、结束同步、严格同步和期间同步。

2.2 同步有色Petri网

Petri网是一种基于令牌的有向循环图形模型，用于表示