9、自动驾驶汽车与模仿学习训练全流程

自动驾驶汽车与模仿学习训练全流程

1. 自动驾驶汽车训练

在完成所有构建工作后，我们将着手进行训练设置，然后看看简单的自动驾驶汽车在实际中的表现。

1.1 启发式行为测试

首先，将汽车的行为设置为启发式，以便使用键盘控制来测试汽车，之后再进行训练。具体操作步骤如下：
1. 在Unity编辑器中打开场景，在层次结构中选择代理，将行为类型更改为“Heuristic”，如图5 - 24所示。
2. 在Unity中播放场景。此时，你就可以使用键盘（很可能是箭头键和WASD键，除非你在Unity输入系统中进行了修改）来操控汽车在赛道上行驶。不过，要想驾驶得好可能会相当困难。

1.2 训练设置

训练模拟需要一个配置文件和一些ML - Agents脚本来读取它们，具体步骤如下：
1. 创建YAML文件 ：创建一个名为 CarAgent.yaml 的新文件，并包含以下超参数和值：

behaviors:
  CarDrive:
    trainer_type: ppo
    hyperparameters:
      batch_size: 1024
      buffer_size: 10240
      learning_rate: 3.0e-4
      beta: 5.0e-3
      epsilon: 0.2
      lambd: 0.95
      num_epoch: 3
      learning_rate_schedule: linea