63、构建两个稍复杂的基准测试

构建两个稍复杂的基准测试

在评估神经进化系统的性能时，标准化的基准测试问题至关重要。本文将介绍两个这样的基准测试问题：极点平衡基准测试和 T 迷宫导航基准测试。

1. 基准测试的必要性

为了测试神经进化系统添加新特性后的性能，或者评估其整体能力，需要一些标准化的基准测试问题。随着系统的不断改进和发展，需要更高级的基准测试来验证其性能。本文将开发并添加极点平衡基准测试和 T 迷宫导航基准测试。

2. 极点平衡模拟

极点平衡基准测试要求基于神经网络的智能体推动轨道上的小车，使小车上的杆子保持平衡，不倾倒。具体来说，在一个 4.8 米长的轨道上，有一个带有长度为 L 的杆子的小车，杆子通过铰链连接在小车上，可以自由摆动。神经网络控制器需要对小车施加力，使其在轨道上来回移动，使杆子保持在小车垂直方向的 36 度范围内。

2.1 模拟参数

• 模拟的时间粒度为 0.01 秒，即每 0.01 秒进行一次物理计算，以确定小车和杆子的位置。
• 智能体每 0.02 秒请求一次感官信号并执行动作。
• 模拟终止条件：
• 小车必须保持在 4.8 米的轨道内，否则模拟结束。
• 如果杆子偏离垂直方向超过 36 度，模拟结束。

2.2 问题版本

极点平衡问题有多个版本，难度各不相同：
|问题版本|描述|感官信号|
| ---- | ---- | ---- |
|单极点平衡问题 - 版本 1|智能体推动小车平衡 1 米长的单杆。| [CPos, CVel, PA