18、强化学习与合成数据生成：Unity ML - Agents 深度解析

强化学习与合成数据生成：Unity ML - Agents 深度解析

1. 好奇心奖励与超参数设置

在强化学习中，为了激发智能体的好奇心，可以传递与外在奖励相同的超参数。具体如下：
- 好奇心奖励信号超参数 ：
- reward_signals->curiosity->strength ：用于平衡好奇心奖励与其他奖励（如外在奖励）的缩放系数，取值范围在 0.0 到 1.0 之间。
- reward_signals->curiosity->gamma ：根据奖励实现所需的时间来调整奖励感知价值的第二个缩放系数，与外在奖励的 gamma 类似，取值范围也在 0.0 到 1.0 之间。

常见的模型超参数配置还包括：
| 超参数 | 作用 | 取值建议 |
| ---- | ---- | ---- |
| batch_size | 控制模型每次更新时模拟的迭代次数 | 若使用连续动作，取值应较大（数千）；若仅使用离散动作，取值应较小（数十） |
| buffer_size | 根据算法不同有不同作用。对于 PPO 和 MA - POCA，控制在更新模型前收集的经验数量；对于 SAC，对应经验缓冲区的最大大小 | 对于 PPO 和 MA - POCA，应是 batch_size 的数倍；SAC 可根据需求设置 |
| learning_rate | 对应每次更新对