22、行为克隆与偏置指定语言：原理、方法与应用

行为克隆与偏置指定语言：原理、方法与应用

1. 行为克隆概述

行为克隆是一种通过模仿人类操作员的行为来构建控制系统的方法。在一些复杂的操作场景中，如集装箱起重机操作和固定翼飞机飞行，操作员需要控制多个变量，任务复杂，需要分解为多个子任务。

1.1 多任务学习视角

以飞机自动驾驶系统的构建为例，Sammut 等人（1992）将其视为多任务学习问题。每个训练示例是一个特征向量，包含飞机的位置、方向、速度以及各个控制设置（如副翼、升降舵、油门和襟翼）的值，忽略方向舵。

1.2 决策树构建方法

为每个控制变量构建一个单独的决策树。例如，将副翼设置作为因变量，其他所有变量（包括其他控制）作为训练示例的属性。先为副翼构建决策树，然后对升降舵等重复此过程，最终为每个控制变量都得到一个决策树。

1.3 自动驾驶代码执行

自动驾驶代码在控制循环的每个周期执行每个决策树。这种方法将每个控制的设置视为一个单独的任务。尽管通常需要同时调整多个控制才能达到期望的结果，但多个决策树确实能够实现多变量控制。例如，当副翼决策树启动翻滚时，升降舵的决策树会检测到翻滚并使飞机俯仰以执行转弯。

1.4 直接控制器的局限性

直接控制器对于状态空间相对较小的系统效果较好，但对于复杂系统，直接情境 - 动作规则的行为克隆往往会产生非常脆弱的控制器。这些控制器无法容忍大的干扰，例如在飞行模拟器中引入空气湍流时，克隆的性能会迅速下降。这是因为记录人类操作性能的示例只覆盖了复杂系统（如飞行中的飞机）状态空间的一小部分，控制器的“专业知识”非常有限。如果系统偏离了控制器的专业领域，就没有恢复的方法，故障通常是灾难性的。