48、部分可观测环境下的人机通信

部分可观测环境下的人机通信

在部分可观测环境中，机器人与人的有效通信是实现协作任务的关键。本文将介绍一种结合人类语言描述和机器人物理交互力测量的方法，用于推断未观测对象的状态，并据此执行指令。

1. 推断潜在语义状态

为了估计未观测对象状态的置信度，我们结合了人类的语言描述（如“桌子上的杯子是空的”）和机器人物理交互过程中的力测量（如操作过程中的末端执行器力曲线）。将未观测对象状态的置信度作为随机变量 $K_t$ 纳入概率图形模型，它代表了关于世界中语义对象属性的知识状态。例如，如果工作空间中有一个杯子和一个盒子，知识状态 $K_t$ 可能包括一组二元变量，如 $IsFull(cup)$、$IsMovable(box)$ 等。

由于语言和感知的多样性和复杂性，联合推断知识状态具有挑战性。我们的目标是从语言表述和物理交互过程中的力测量中推断对象的潜在语义状态（如空/满等）。每个语义对象状态本质上是符号化的，用离散的二元随机变量表示，且假设对象属性相互独立。

我们假设对象的潜在语义状态服从伯努利分布，并对其施加具有超参数 $\alpha_t$ 的共轭贝塔分布先验。状态 $K_t$ 的分布由 $\alpha_t$ 参数化，模拟了对符号属性真实可能性的当前置信度（例如，$p(IsFull(cup) = 1)$）。

形式上，谓词的真实可能性为 $p(IsFull(cup) = 1) \sim Ber(\theta)$，其中 $\theta \sim Beta(a_t, b_t)$，$\alpha_t = {a_t, b_t}$。该模型融合了人类通过语言提供的事实知识和直接物理交互获得的力/扭矩测量值，以估计对象潜在符号状态的置信度。我们将此问题表述为