48、社交机器人非情感对话头部手势的实时自动识别

社交机器人非情感对话头部手势的实时自动识别

1 引言

近年来，发达国家面临着老年人口增长的问题，预计到2050年世界人口将趋于平稳并开始下降，这将导致人类护理人员严重短缺。社交或辅助机器人将在医疗、老年护理、教育、娱乐以及太空和深海探索等领域发挥重要作用。为了实现良好的人机交互，机器人需要自动理解人类的面部表情、语音和非情感对话手势，并将它们进行整合。

目前，虽然已经有一些关于多姿态对话头部手势分析和生成的模型，以及基于同步有色Petri网的多媒体手势分析和训练模型，但缺乏能够在实时交互中持续检测对话手势的实现方案。本文旨在分析非情感对话头部手势的运动序列、眼焦点、循环运动及其同步性，并实现同步有色Petri网，以实时自动识别野外环境中的手势边界和手势。

2 背景

2.1 对话非情感头部手势

对话头部手势由不同头部运动类型和头部姿势的组合序列与口语短语同步组成。常见的对话头部手势有36种，如接受/欣赏、争论、傲慢、回避等。分类和标记这些手势的主要属性包括点头、摇头、倾斜头部、眼焦点、重复运动以及多个器官运动与语音之间的同步性。缺乏头部运动、眼球运动和语音之间的同步会导致实际手势的扭曲和错误标记，对话头部运动与对话之间的时间同步表现为六种不同的Allen同步：顺序、并发、开始同步、结束同步、严格同步和期间同步。

2.2 同步有色Petri网

Petri网是一种基于令牌的有向循环图形模型，用于表示嵌入式并发过程。图中包含两种类型的节点：位置和转换。并发过程在某个位置的令牌数量超过触发所需的令牌数量时触发，令牌通过转换节点从源位置流向目标位置。重复的过程和转换集被建模为循环。有色Petri网使用