16、机器人在对抗环境中的行为与通信策略

机器人在对抗环境中的行为与通信策略

在现实世界中，机器人的交互并非都具有纯粹的合作性质。当机器人在环境中执行任务时，可能会遇到具有对抗性的实体。此时，机器人除了完成主要任务外，还可能有隐私保护、减少信息泄露等次要目标。为了防止敏感信息泄露，机器人需要具备生成混淆行为的能力，同时在复杂的混合环境中，要平衡对对抗实体的混淆程度和对合作实体的行为可理解性。此外，还可以利用通信和模型协调技术进行欺骗。下面将详细介绍相关的技术和策略。

1. 确定计划前提条件的方法

为了确定计划的前提条件，系统可以采取以下步骤：
1. 向用户展示两个状态，一个失败状态 (s_f) 和一个初始状态 (s_0)，并要求用户指定一个在 (s_f) 中不存在但在 (s_0) 中存在的概念。
2. 系统持续展示更多的正状态，并确认所识别的概念是否仍然存在于这些状态中。
3. 这个过程会持续进行，直到系统有足够的样本可靠地确定该概念是前提条件，或者用户指出一个该概念不存在的状态。
4. 如果出现后一种情况，要求用户选择另一个在原始失败状态中不存在但在所有正状态中存在的概念。

为了减少用户选择正确概念时的认知负担，可以采取以下措施：
- 对与 (s_f) 相似的正状态进行采样，这样通常意味着概念差异的数量更少。
- 当向用户展示状态的可视化表示时，系统可以提供显著性图，显示对决策者重要的状态区域，这些区域通常对应于前提条件概念的图像斑块。

2. 相关技术的应用与类比

许多特定的方法在可解释机器学习中都有类似的应用：
- Ribeiro 等人提出的方法是一种流行的分类器解释方法，依赖于模型的局部近似。