13、强化学习：从课程学习到合作学习

强化学习：从课程学习到合作学习

1. 操作前的代码逻辑

在开始操作之前，有一段代码逻辑用于检测指定的 QWEASD 键是否被按下，并在动作缓冲区中增加相关动作。代码如下：

{
    heuristicFired = false;
    continuousActions[i++] = 0;
}

这段代码看似复杂，实则只是检测 QWEASD 键的按下情况，若按下则在动作缓冲区中增加相关动作（W 和 S 控制俯仰，A 和 D 控制旋转，Q 和 E 控制力量）。若按下空格键，还会将发射阈值设为 1，确保代理释放投掷动作。

2. 初步尝试操作步骤

若要进行初步尝试，可按以下步骤操作：
1. 在层级面板中选择代理。
2. 在检查器中找到行为参数组件。
3. 将行为类型属性从默认改为启发式。
4. 播放场景，尽力击中目标。

3. 课程学习之环境重置

课程学习的目的是通过减小奖励半径来增加难度，迫使代理更接近目标以获得奖励。首先要进行环境重置，在发射器类中添加以下方法：

public override void OnEpisodeBegin()
{
    power = Random.Range(0, powerMax);
    elevation = Random.Range(0f, 90f);
    transform.eulerAngles = new Vector3(0, Random.Range(0, 360f), 0);
    va