8、极点平衡实验：从单杆到双杆的挑战

极点平衡实验：从单杆到双杆的挑战

单杆平衡实验

实验基础流程

在单杆平衡实验中，首先需要对输入进行缩放，然后激活表型的人工神经网络（ANN），其输出将用于产生离散的动作值。具体代码如下：

# Activate the NET
output = net.activate(input)
# Make action values discrete
action = 0 if output[0] < 0.5 else 1

利用产生的动作值和当前状态变量的值，可以运行单步的推车 - 杆模拟。模拟步骤完成后，会将返回的状态变量与约束条件进行比较，以检查系统状态是否仍在边界内。若失败，则返回当前模拟步骤数，该值将用于评估表型的适应度。

# Apply action to the simulated cart-pole
x, x_dot, theta, theta_dot = do_step(action = action,
                      x = x, x_dot = x_dot,
                      theta = theta, theta_dot = theta_dot )
# Check for failure due constraints violation.
# If so, return number of steps.
if x < -2.4 or x > 2.4 or theta < -0.21 or theta &g