72、基于混合计算机方法的倒立摆强化学习平衡控制

基于混合计算机方法的倒立摆强化学习平衡控制

1. 混合计算机设置与强化学习应用

强化学习特别适合模拟/数字混合方法，因为强化学习代理需要一个模拟或真实的环境来执行任务，而模拟计算机在模拟多种场景方面表现出色。倒立摆被选用于验证这种方法，它是强化学习中经典的“Hello World”示例之一，并且可以在小型模拟计算机上轻松模拟。

混合计算机设置由模拟倒立摆的模拟计算机和运行用Python编写的强化学习算法的数字计算机组成。两者通过USB进行串行通信。数字计算机与模拟计算机之间的连接是一个混合控制器，它控制模拟计算机的所有部分，如积分器、用于设置系数的数字电位器等。混合控制器接收来自连接的数字计算机的命令，并返回从模拟计算机选定计算元素读取的值。模拟和学习算法都实时运行。

强化学习以回合（episode）的形式进行。一个回合被定义为“平衡摆直到它倒下或小车移出环境边界”。数字计算机向模拟计算机询问实时模拟信息，如小车的x位置和摆的角度ϕ。学习算法然后决定当前回合以及当前学习过程是否可以继续，或者是否需要结束回合；结束回合也会重置模拟计算机上运行的模拟。

2. 模拟计算机模拟倒立摆

模拟安装在具有一个自由度的小车上的倒立摆，在模拟计算机上是比较直接的。假设摆的质量m安装在无质量杆的顶部，杆又安装在可沿水平轴移动的小车上的枢轴上。小车的运动通过在小车的左侧或右侧施加力F来控制一定的时间间隔δt。

如果小车不能移动，摆将类似于一个简单的数学摆，由方程 ¨ϕ - (g/l)sin(ϕ) = 0 描述，其中¨ϕ是摆角度ϕ关于时间的二阶导数。但在这个例子中，小车是移动的，问题更复杂，需要采用拉格朗日方法。

拉格朗