元启发式算法在机器人轨迹规划中的应用-优快云博客

2 机器人学中的元启发式算法

2.1. 引言

如今，元启发式算法被广泛应用于工程领域的众多方面。这主要是由于优化问题的复杂性日益增加，尤其是需要满足的约束数量众多，使得寻找最优解变得极为困难，甚至在某些情况下无法在有限时间内实现。因此，元启发式算法被引入以在合理的时间内尽可能逼近最优解（但无法保证一定能达到）。机器人学是元启发式算法应用日益增多的领域之一，原因在于机器人结构日趋复杂、集成的传感器数量庞大，因而需要处理的信息量巨大，以及其运行所处的环境。

定义机器人学领域非常困难。在学术文献中，可以找到许多类型的机器，它们都可以被描述为机器人。一种分类方法是将仅用于研究的机器人与为工业或工程中的特定需求而开发的机器人区分开来：

1) 用于研究的机器人：这些平台旨在验证轨迹规划、导航算法，感知等。一个很好的例子是Turtlebot，它是一个基于机器人操作系统（机器人操作系统）的可编程平台，用于验证规划技术。

2) 用于工程领域的机器人：这些机器人是为特定需求而开发的。在此类别中，操作臂最为常见。此外，在撰写本文时，大多数装配和生产链中的各种任务均由操作臂完成。外科手术也关注此类机器人的引入。在这一领域，使用这类机器人可极大提高手术操作的精确度。其他类型的机器人也可归入此类，例如主要用于支持康复的外骨骼，以及由波士顿动力开发的BigDog，其具备多项针对军事需求设计的功能。

在本研究中，我们将更具体地关注操作臂。在本章中，我们将阐述元启发式算法应用于解决最常见问题（即轨迹规划问题和自动控制问题）的不同方法。

本章分为四个部分。第2.2节详细描述了使用元启发式算法求解轨迹规划问题的方法。第2.3节概述了元启发式算法在解决自动控制问题中的应用。最后，第2.4节对本章内容进行了简要总结。

2.2. 轨迹规划问题的元启发式算法

轨迹规划问题的目的是确定一条机器人将遵循的轨迹（即一组位置），以完成特定任务。解决轨迹规划问题非常复杂，因此通常需要进行几何建模。解决该问题的关键在于人们推理的能力关于这些类型的模型（表示）以及对其进行操作以找到能够产生解决方案的版本。轨迹规划问题与机器人的工作环境密切相关。

事实上，除了机器人本身的特性外，该问题的复杂性随着其环境的复杂性而增加。

关于机器人在已知环境中的运动，其运动可概括为一系列“到达目标”任务。然而，对环境的了解并不能直接提供待遵循路径的信息。因此，该问题被划分为多个阶段，如图2.1所示。

示意图0

2.2.1. 路径规划

如图2.1所示，轨迹规划的第一步是找到一条路径，以确定机器人应遵循的最优路线。该步骤需要根据当前任务和机器人的环境做出决策。在此阶段，目标是找出机器人必须经过的所有途经点，以到达期望的最终位置。每个途经点对应于机器人的一个特定构型。

此级别的复杂性与机器人的结构（自由度数量）以及工作环境的复杂性密切相关。对于操作臂而言，该步骤通过参考两个空间进行协调：关节空间和笛卡尔空间。空间之间的转换可以通过机器人的正几何模型（DGM）或逆几何模型（RGM）实现。

2.2.1.1. 关节空间内的规划

关节空间由关节变量表征。机器人的运动学和动力学通常在此空间内表示。轨迹规划、生成和跟踪通过作用于关节的执行器直接在此空间内进行监督，这也解释了“执行器空间”这一名称，该术语也可用于指代关节空间。在此空间中工作等同于求解每个关节的所有角运动，这显然是一个非常复杂的过程。尽管如此，此空间能够考虑机器人的整个结构，从而避免奇异构型（这些构型可能导致机器人无法实现的解，即位于其工作空间之外的解）。

奇异构型通常在操纵机器人的逆几何模式时遇到。在此空间中工作的主要缺点是难以用关节变量描述机器人任务。实际上，对于具有n个自由度的机器人，必须为n个关节中的每一个单独描述任务。因此，需要适当的形式化方法以满足特定需求。在这方面已提出一些解决方案，例如[YUN 96],中，作者提出了一种基于最小化机器人运动的方法，其推理完全在关节空间中进行，并且还考虑了动态运动学约束。

2.2.1.2. 在笛卡尔空间中的规划

笛卡尔空间表征了机器人末端器官（也称为末端执行器）的演化过程。在此空间中，可以精确地描述末端执行器需要执行的任务。此外，由于关注的是执行器的运动，搜索空间的维度最多为3，因此相较于n维空间，在此空间内进行推理更为简便。此处的思路是找出末端执行器的所有途经点集合。为了考虑机器人的结构，一些研究人员提出在笛卡尔空间中表达机器人的运动学和动力学（由于计算复杂性较高，该方法并不常用）。另一些研究者仅利用机器人的运动学（通过雅可比矩阵）来连接两个空间。

在这种情况下，搜索在笛卡尔空间中进行，同时考虑机器人结构所施加的约束。[YU 96],中提出了一种此类方法，其中作者在笛卡尔空间中对问题进行了建模。该方法充分利用了从工作空间获取的所有信息，能够实现避障。其基本思想是：从机器人的基座出发，依次处理构成机械臂的各个连杆。机器人的末端执行器也被视为一个连杆（将其等效为最接近的几何形状）。因此，对于每个在三维空间中运动的连杆，将其运动转换到二维空间中进行路径规划和避障处理。

在任一空间中工作都有其优缺点。除了通常用于解决此问题的假设约束外，影响整个求解方法的一个重要决策是机器人环境的表示方式。此外，还需定义用于实现新构型的信息。

是解决方案的主要准则之一。因此，有两种可能的选择：

— 将整个工作空间视为信息来源：在这种情况下，这可以被视为一个全局过程，相应的方法称为全局方法；

— 将工作空间的小部分作为信息来源：这里，工作空间被划分为若干小区域，并依次加以考虑。

所谓的全局方法需要对机器人的工作环境有全面的了解，因此无法应对意外情况。在复杂环境中，由于需要处理大量信息，这些方法在计算时间上开销很大。然而，考虑到环境是静态的，可以采用离线求解的方式，从而解决这一时间约束问题。这些方法的另一个缺点是难以集成新的约束。对于任务重复的静态环境，该方法展现了其全部潜力。

对于所谓的局部方法，其原理是将工作空间分解为若干小部分（区域），并依次处理这些区域。对于这种技术，我们可以设想在线处理。在这种情况下，计算时间并不是问题的约束条件。

此外，使用这种方法可以轻松地将新的约束集成到问题中。这些方法在动态环境中展现了其优势。

解决这个问题可能非常复杂。因此，研究人员转而采用元启发式算法。在讨论将元启发式算法作为解决方案时，我们必须能够像背景工作一样，将整个问题形式化为一个优化问题。在此背景下，最重要的准则是：

— 实现最终构型所需的位置误差最小化；

— 行驶时间最小化；

— 能量消耗最小化；

— 速度、加速度和急动度最小化。

可以添加诸如避障等其他准则。文献中已提出了多种公式化方法。其中，可以找到单目标优化模型，即将所有准则通过权重因子组合成单一目标。如[SOL 01],中所示，作者提出了由公式 2.1表示的目标函数：

$$ F = \beta_1 f_T + \beta_2 f_I + \beta_3 f_F $$ [2.1]

其中$\beta_1$、 $\beta_2$和$\beta_3$为权重参数。函数$f_I$和 $f_F$分别表示当前位置与初始位置及最终位置之间的测量距离。函数$f_T$是由多个需优化的准则组成的复合函数：包括笛卡尔空间和关节空间中的速度和加速度。

在 [CHE 04],中，作者采用了一种不同的方法。该方法的思想是通过最小化目标函数并考虑运动学和动力学相关的约束，来建立两个连续构型之间的联系。公式2.2 表示需要优化的函数：

$$ F = \mu T + \frac{1}{2\pi}[\alpha A + (1 - \alpha)B] $$ [2.2]

其中 μ和 α为权重参数。通过该表达式，函数F反映了初始构型与最终构型之间的代价。实际上，目标是实现

在最小化行程时间T,、转矩A和能量B之间的一种平衡。

从这两个示意图可以看出，文献中提出的公式化方法可能从多个准则的简单线性组合到更为复杂的公式化方法不等。这种复杂性主要取决于需要考虑的约束数量。

其他作者提出了多目标优化公式。在这种情况下，结果是一组解（帕累托前沿）。在[SOL 07],中，作者采用了五个需同时最小化的目标准则。

— 关节速度的最小化；

— 关节加速度的最小化；

— 运动（末端执行器）的最小化；

— 末端执行器速度的最小化；

— 能量最小化。

随后，绘制帕累托前沿以选择最优解：

— 关节速度与笛卡尔速度；

— 关节位置与笛卡尔位置。

在[MAR 12],中，作者将一个优化问题嵌入到控制环路中。在他们的研究中，指出了该问题的复杂性，尤其是对机器人冗余性的有效管理。因此，他们定义了一个多目标优化问题，以解决逆运动学问题并控制关节变量。他们提出了两个目标函数。第一个函数是使机器人的运动最小化，由公式2.3表示：

$$ F_1 = \dot{q}^T \dot{q} + \left(\frac{q - q_0}{\Delta t}\right)^T \left(\frac{q - q_0}{\Delta t}\right) $$ [2.3]

其中，q 和 q0 分别表示关节变量的当前位置和初始位置，$\dot{q}$ 表示关节速度，$\Delta t$ 表示采样时间。第二个函数由公式2.4表示：

$$ F_2 = X_e = \sqrt{(x_r - x_f)^2 + (y_r - y_f)^2} $$ [2.4]

其中 $X_e$ 是末端执行器的位置误差（当前位置与期望位置之间的误差）。

为了实现这些目标函数，作者定义了决策准则来验证结果。通过改变多个参数并绘制两个函数之间的帕累托前沿，可以找到一组解，从而确定最终的解。

出现的问题是如何在单目标函数和多目标函数之间做出选择。这种选择并不简单，且取决于所定义的准则。此外，将多个准则加权组合并不像看起来那样简单，这种组合需要有合理的依据。

关于帕累托前沿的使用，如果所定义的准则是相互矛盾的，则其可能会很有意义。因此，通过解曲线可以找到合适的折衷方案。

为了充分利用两种规划空间的优势，已经开发出其他可称为混合方法的方法。其主要思想是在两个空间之一中找到一个构型（一个位置），并在另一个空间中进行验证（在关节空间中找到的位置在笛卡尔空间中进行验证，反之亦然）。显然，当搜索是局部时，这些方法更具适用性。

2.2.1.3. 混合规划：关节空间—>笛卡尔空间

这种技术的思想如图2.2所示。

示意图1

在此策略中，第一步是在关节空间中寻找新的构型。这通过定义适当的待最小化目标函数来实现。接着，通过正向几何模型将该关节构型转换到笛卡尔空间，从而获得机器人末端执行器的新位置。然后将该位置与预设目标进行比对验证。如果结果通过验证，则继续在关节空间中搜索新的解。该技术仅使用正向几何模型，这是一个优势。此外，奇异构型会被自动避免。

这类方法的缺点是，必须正确选择待优化的准则，以确保找到的解是可接受的。此外，从用户的角度来看，跟踪末端执行器的演化比跟踪机器人的构型更为容易。

文献中的几项研究已经从这一角度解决了规划问题。这种策略的一个示例在[MAC 13]中进行了说明。在这项工作中，作者同时利用关节空间生成解，并利用笛卡尔空间验证工作空间中可能遇到的各种障碍物的无碰撞性。下图展示了该研究所采用的方法。

示意图2

从该图中可以明显看出，这两种空间都可以用于规划，因此提出了一种混合规划方法。显然，此示例仅给出了同时使用这两种空间的可能方式的一个思路。根据不同的形式al化方法，很容易设想出这两种空间的其他应用。

2.2.1.4. 混合规划：笛卡尔空间 —>关节空间

这种技术与之前的方法相反，如图2.4所示。

示意图3

2 机器人学中的元启发式算法

2.2. 轨迹规划问题的元启发式算法（续）

通过该技术，将为机器人的末端执行器生成连续的位置，使其能够实现目标并完成预定任务，同时也能更直观地观察机器人将要走过的轨迹的整体形状。此外，搜索将在三维中进行，而不像先前策略那样，其空间维度取决于机器人的自由度数量。对于在笛卡尔空间中找到的末端执行器的每一个位置，我们都需要寻找对应的关节构型。为此，可以采用两种可能的方法：

— 使用机器人的逆几何模型：在这种情况下，我们基于机器人的逆几何模型来求解关节构型。如果机器人不具有冗余性，则在两个空间之间的转换不会产生任何问题。对于冗余机械臂，可能会出现奇异构型（对应于机器人无法达到的解），因此雅可比矩阵不是方阵。为解决此问题，已发展出多种技术，例如使用伪逆或添加附加约束，以获得方阵形式的雅可比矩阵，从而能够正确计算其逆。该方法需要进行复杂计算，且随着机器人自由度数量的增加而显著增大。因此，应谨慎使用此方案。[MAR 12]中展示了该策略的一个示例。

— 将找到的位置作为约束用于搜索解：在这种情况下，在关节空间中定义一个具有适当准则和约束的优化问题。该问题的约束之一是，所找到的构型转换为笛卡尔位置后，必须尽可能接近先前为末端执行器找到的位置。这种方法的优点在于不使用机器人的逆几何模型，从而简化了计算并避免了奇异构型 [MEN 15]。下一章将详细介绍使用此方法的示例。

在这一层面，我们仅阐述了文献中可能遇到的规划问题的不同公式化方法。最常用的元启发式算法是粒子群算法 [HUA 08] 和进化算法 [MAR 10, MAR 12]。

粒子群算法

该算法属于基于种群的元启发式算法家族。其原理在于利用一组候选解来逐步发展出问题的最优解。与大多数元启发式算法一样，它受到群集动物社会行为的启发，例如鱼群和集群鸟群飞行。实际上，我们可以观察到这些动物表现出相对复杂的运动动力学，而在个体层面，每个个体仅具有有限的智能，并且只掌握其在群体中所处位置的局部知识。

每个个体的局部信息和记忆被用来决定其移动。诸如靠近其他个体、保持相同方向或速度等简单规则足以维持群体的凝聚力，从而实现复杂的集体和自适应行为。

群体由一群称为粒子的简单智能体组成。每个粒子都被视为问题的一个可能解，该解由其位置（解向量）和速度来表征。此外，每个粒子都拥有一个记忆，使其能够记住自身达到的最佳性能（在位置和速度方面），以及邻近粒子（信息源）所达到的最佳性能。

此外，每个粒子都有一组称为邻域的信息源。

在寻找最优解的过程中，每个粒子受到三个分量的影响：

— 惯性分量：粒子倾向于沿其当前的移动方向前进；

— 认知分量：粒子倾向于向其已经经过的最佳位置移动；

— 社会分量：粒子倾向于依赖其同伴的经验，从而向其邻居已达到的最佳位置移动。

如图2.5所示。

示意图4

在某些公式化方法中，粒子可能具有物理意义。因此，可以解释这些粒子在群体中的演化过程，从而更容易理解求解过程。

此处描述了该算法的基本版本，以帮助理解其原理。然而，为了加快收敛速度并更好地管理粒子运动所需的信息，已开发出该算法的多个版本（变体）。

进化算法

进化算法是一类受生物演化启发的优化问题求解技术。其核心思想在于：继承了适应环境特征的个体往往能够存活足够长的时间以进行繁殖，而较弱的个体则趋于消失。与粒子群算法类似，该算法也是基于种群的。然而，其关注的重点是个体，而非粒子。

接受演化的个体是针对所提出问题的可能的解，所有这些个体构成了种群。该种群在称为代的连续迭代过程中不断演化。在每一代中，算子被应用于个体，以生成下一代的种群。每个算子使用一个或多个个体（称为父代）来创建新的个体（称为子代）。在每一代结束时，该代创建的一组子代将替换种群中的一部分个体。

进化算法包含三个主要算子：

— 选择算子 ：选择算子的作用是促进种群中最优解的传播，同时保持种群内一定的遗传多样性。因此，该算子能够选择参与生成子代的父代，存在多种选择技术，以下是一些常见的方法：

‐ 轮盘赌选择：其原理是将每个个体与一个与其适应度成正比的概率相关联，适应度用于衡量解决方案对问题求解的充分性。在此步骤之后，旋转轮盘，选择父代。因此，适应度较高的个体更有机会被选为父代；

‐ 锦标赛选择：采用该策略时，会随机选择一组父代（所选父代的数量对应于锦标赛的大小）。然后，从中选出最优的个体。

— 交叉算子 ：该算子用于创建子代时，目的是交换被选中以生成子代的父代的基因。该算子能够加强在搜索空间内的搜索，其关联的交叉概率表示将受此算子影响的种群比率。目前已开发出多种交叉技术，例如：

‐ 单点交叉：其思想是为两个父代随机生成一个截断位置，然后交换信息以生成子代。该技术可以推广到双点或多点交叉；

‐ 中间交叉：在此技术中，所生成子代的每个基因通过两个选定父代的两个基因的加权和来计算。

— 变异算子 ：与交叉算子不同，该算子单独作用于每个父代个体。其原理是随机选取父代个体的一个分量，并将其替换为一个随机值。这样做可以实现研究过程中的持续多样化。可以采用多种变异技术，包括：

— 高斯变异：在此技术中，添加到选定基因的值来源于高斯分布律；

— 多项式变异：在此技术中，使用多项式分布来生成子代。

除了这三个算子外，还使用第四个算子以保持各代种群规模的恒定，这称为替换策略。一些技术包括用生成的子代替换所有父代，或保留最优的父代以及用创建的子代替换不良个体。有关这些不同算子的详细信息，请参见[TAL 09]。

进化算法的一般原理如图2.6所示。

示意图5

2.2.2. 轨迹生成

一旦计算出各个位置，轨迹生成的目标就是找到连接这些不同位置的最优路径。该插值操作的目的是在位置、速度和加速度层面产生平滑的曲线。关键在于减少可能引发共振风险并损坏机器人机械结构的突然且不协调的运动。

在文献中，该问题通过两种不同的方式来解决：

—— 第一种方法是迄今为止所介绍的方法，即通过计算所有交叉点，然后进行平滑操作；

—— 第二种方法是在开始时就假设末端执行器和各个关节遵循特定的轨迹，然后确定表征每条轨迹的系数。在这种情况下，关于图2.1，路径规划和轨迹生成两个阶段将合并为一个步骤。显然，使用这种方法会给问题带来更多的约束。

为了确保曲线的平滑性，已经发展出多种技术；其中应用最广泛的是样条曲线[Liu 13], B样条[GAS 07, GAS 10]和分段插值[TIA04]。最简单的方法是使用多项式函数。为此，我们可以考虑两个使用示例：

— 使用单个多项式通过上一步计算的所有点。如果途经点的数量不多，这种情况较为理想。此外，当途经点数量较多时，需要增加所用多项式的维度，这将进一步增加各个系数计算的复杂性。

— 在每对途经点之间使用多项式函数。在这种情况下，可以使用低维度的多项式。然而，重要的是要确保曲线在位置、速度和加速度层面的连续性。

元启发式算法也可用于此第二阶段。实际上，由于需要满足的约束数量众多，该问题可能会迅速变得非常复杂。稍后将介绍此步骤的一个实际示例。

完成这两个步骤后，将生成理想轨迹或设定点。因此，下一步是控制机器人以跟踪该设定点并完成预期任务，这属于自动控制领域的问题。

2.3. 自动控制问题中的元启发式算法

为了更好地理解机器人学中的自动控制问题，通常会使用任务函数的概念。该函数由克劳德·萨姆森、伯纳德·埃斯波和帕特里克·勒博尔涅在其著作《机器人控制》[SAM 91]中提出。此函数的目的是将给定的机器人任务转化为一个数学函数。这种数学变换直接在传感器空间中进行，从而能够设计出控制律，并实现对机器人的控制。该形式化方法的原理是通过调节（至零）构型向量 q 和时间变量 t 的误差函数 e(q,t)，来完成机器人任务。

为了更好地理解这一概念，让我们考虑一个机械臂，并假设我们希望其末端执行器（末端器官）P 沿给定的轨迹 ed(t) 运动，如图2.7所示。

示意图6

如果我们用 r 来描述执行器 p 的状态，那么对应于此状态的任务函数可以写为：

$$ E(q,t) = q - e_d(t) $$

将 e(q, t) 设为零可以使点 P 沿期望轨迹运动。如前所述，在机械臂的情况下，可以区分两种工作空间，即笛卡尔空间和关节空间。因此，通过该形式化方法还可以描述在不同空间中的其他类型的机器人任务：

— 在关节空间中，允许进行位置调节的任务函数可以写为：

$$ E(q,t) = q - q_d(t) $$

其中q表示关节位置，qd(t)表示在此空间中需要跟踪的理想轨迹。

— 在笛卡尔空间中，采用相同的原理并用于控制情况时，我们得到：

$$ E(q,t) = r(q) - r_d(t) $$

其中r(q)是末端执行器姿态的给定参数化，rd(t)表示在笛卡尔空间中表达的理想轨迹。

通过任务函数的这种形式化方法，可以推导出许多性质，例如任务的可接受性。后者用于确定给定的任务是否可行。

一旦误差被明确定义，便使用算法通过迭代来减小该误差，这就是调节过程。目标是使系统跟随期望的设定点，同时确保速度、精度和鲁棒性。系统的典型响应如图2.8所示。

示意图7

如图所示，在调节控制期间需要验证一些参数：

— 上升时间必须非常短，以确保快速响应；

— 必须最小化超调，因为过度的超调可能导致响应发散；

— 在稳态或稳定状态下，静态误差必须非常小（如果不能为零的话）。

工业中使用最广泛的调节器之一是PID调节器。该调节器由三个作用组成：

— 比例作用：P；

— 积分作用：I；

— 微分作用：D。

这些操作中的每一项都会影响到需要最小化的误差。该调节器用于调节，以快速减小干扰（固定设定值），或用于为了快速适应新的设定点（伺服机制）而进行的跟踪。

PID调节器的作用如下：

1) 比例作用 ：
在比例作用中，误差乘以一个常数Kp。如果考虑由e(t)表示的误差信号，则比例作用的输出表示为：

$$ U(t) = K_p \cdot e(t) $$

Kp 越大，响应越快（上升时间减少）。此外，静态误差也减小。

2) 积分作用 ：
顾名思义，对于积分作用，误差通过积分常数进行积分。积分作用的输出为：

$$ U(t) = K_i \cdot \int_0^t e(\tau) d\tau $$

积分作用的功能是校正静态误差。Ki 越高，对静态误差的校正作用越强。

3) 微分作用 :
对于微分作用，误差对时间进行微分，然后乘以一个常数 Kd；微分作用的输出如下：

$$ U(t) = K_d \cdot \frac{de(t)}{dt} $$

微分作用旨在减少超调，但不影响静态误差。还应注意，此作用对噪声敏感。

表2.1 总结了PID调节器每个动作的效果。

系数	上升时间	稳定化 time	超调	静态误差
Kp	减少	增加	增加	减少
Ki	减少	增加	增加	取消
Kd	-	减少	减少	-

表2.1. PID调节器作用效果

PID调节器被广泛应用于工业的多个领域。这得益于其高效率和易于实现的特点。PID调节器可应用于各种类型的系统（线性或非线性），无论是否了解这些系统的内部结构（白箱或黑箱）。

在实际应用中，对于大量系统通常采用齐格勒‐尼科尔斯方法来调整调节器的参数（各类增益）。然而，由于某些系统（如外骨骼）具有较高的复杂性和动特性，同时为了使该调节器的应用更加通用，研究人员仍在持续研究PID调节器，并提出各种解决方案，以使其能够适应任意类型的系统。这一点尤其有意义，特别是在对被控系统缺乏先验知识的情况下。其中一个思路是利用元启发式算法来寻找算法[KIM 08, ALF 11, BEL 17]的参数。在[BEL 17],中，作者采用粒子群优化算法来寻找比例增益kp、积分增益 Ki和微分增益Kd。通过定义合适的目标函数，并调整各个粒子的行为与移动方式，他们能够在完全不了解系统的情况下实现控制信号的稳定，并有效控制该系统。该技术的详细内容将在第5章中介绍。