21、移动机器人路径规划与人工智能在城市轨道交通中的应用

移动机器人路径规划与人工智能在城市轨道交通中的应用

移动机器人路径规划

在移动机器人路径规划中，为避免策略选择偏差影响后续行动，引入了一系列改进方法。

为避免状态 $s_{t + 2}$ 下策略选择的偏差对下一轮状态 $s_t$ 中的行动选择产生影响，引入了正的策略缩放因子 $\mu$ 来限制状态 $s_{t + 2}$ 下的策略选择结果。同时，规定第二步的策略缩放因子 $\mu$（$0 < \mu \leq 1$），以确保第一步的回报始终大于第二步的回报。

基于人工势场的强化学习改进

人工势场法是一种常用于解决路径规划问题的虚拟力方法。在传统人工势场下，移动机器人能快速收敛路径。为提高策略选择的稳定性，将人工势场函数添加到每个状态对应的动作价值函数中，以加速机器人找到目标点。
改进的引力场函数设计如下：
$U_{att}(s) = \frac{1}{2\varepsilon} \frac{\rho_{aim}}{\rho + \rho_{aim}}$
其中，$\varepsilon$（$-1 < \varepsilon \leq 0$）是负引力缩放因子，$\rho_{aim}$ 表示到目标点的直线距离，$\rho$ 是网格环境中两点之间的最远 距离。机器人的动作分为八个方向，将重力和方向角偏差的矢量和设为重力大小。与重力方向夹角最小的动作方向能获得更大目标引导的重力。

在初始化过程中，Q 值的改进较为常见。使用改进的面向目标机制在探索路径中初始化 Q 值。初始 Q 值基于公式计算：
$Q(s_t, a_t) = r + \gamma U_{att}(s)$
其中，$r$ 是