69、具身代理对非语言行为的响应研究

具身代理对非语言行为的响应研究

1. 具身代理的设计

为了专注于非语言行为，选择了通用类人角色作为具身代理。为避免面部表情影响评估，给角色配备了医用口罩，且仅展示上半身、手和头部，这种呈现方式在社交虚拟环境中并不罕见。

2. 感知能力

为使具身代理感知和理解环境，特别是观察和解释对话者的非语言线索，采用了Microsoft Azure Kinects深度传感器。其自带的全身跟踪SDK可实时从深度图像中提取关节信息。同时使用自研的中间件无缝集成Kinetic Space手势识别模块，该模块能从单个示例中学习和识别手势，还会对骨骼数据进行归一化处理，以确保识别不受个体特征和位置影响。检测到的社交信号和参与者的空间坐标会通过中间件传输到Unity进行进一步处理。

3. 社交信号

非语言信号多种多样，为避免误解，将代理的动作空间限制在特定手势、空间行为和 gaze 方向。选择这些信号是基于其解释的清晰度、表达人际关系的能力以及参与者实际使用的可能性。具体的社交信号及代理的感知和发射能力如下表所示：
| 社交信号 | 类型 | 融洽度 | 感知 | 发射 |
| ---- | ---- | ---- | ---- | ---- |
| 点头 | 手势 | 积极 | ● | ● |
| 挥手 | 手势 | 积极 | ● | ● |
| 侧头 | 姿势 | 积极 | ● | ● |
| 看向对方 | 注视 | 积极 | ● | ● |
| 转向对方 | 接近 | 积极 | ● | ● |
| 空间接近 | 接近 | 积极 | ● | ● |
| 跟随 | 接