9、基于强化学习的情境式人机对话中的用户信念感知

基于强化学习的情境式人机对话中的用户信念感知

1. 智能体知识管理

在人机交互中，机器人需要对环境和用户有充分的了解。为此，采用了空间推理框架 SPARK 进行情境评估和空间推理。机器人主要收集三类实体的数据来虚拟建模其环境：
- 对象 ：启动时加载环境模型获取静态对象（如墙壁、家具）位置，通过立体视觉收集可移动物体（如杯子、磁带）位置。
- 人类 ：利用姿势传感器（如 Kinect）获取人类位置。
- 本体感知 ：包括自身位置、姿势等。

这些感知数据使系统能够利用生成的虚拟模型进行进一步的时空推理。例如，当参与者不再感知到某个对象时，系统会判断是否为遮挡情况，若是则保留其最后已知位置，否则从模型中移除该对象。

1.1 事实生成与能力计算

空间推理器不仅用于构建虚拟环境，还用于生成对象相对位置和智能体能力的事实。相对位置（如 isIn、isNextTo、isOn）用于多模态对话管理和自然描述对象位置。智能体的能力包括感知和触及对象的能力：
- 机器人能力计算 ：根据对象位置和识别模块的数据计算自身感知能力，通过抓握关节判断是否能触及对象。
- 人类能力计算 ：机器人运用视角采择能力，计算人类的可见性和可达性。可见性通过计算从人类头部发出的圆锥内的对象来判断，可达性以一米为阈值。

1.2 信念状态与分歧

基于上述信息，机器人可以计算每个用户的信念状态模型。存在两种世界模型：机器人