20、探讨鲁棒拟合值迭代与连续拟合值迭代算法的局限性与改进方向

探讨鲁棒拟合值迭代与连续拟合值迭代算法的局限性与改进方向

1. 最坏情况优化的双刃剑效应

鲁棒拟合值迭代（rFVI）和连续拟合值迭代（cFVI）是两种用于解决哈密顿-雅可比-贝尔曼（HJB）微分方程和哈密顿-雅可比-艾萨克斯（HJI）方程的算法，适用于连续状态和动作空间。这些算法通过优化最坏情况下的奖励，而不是期望奖励，从而提高了策略的鲁棒性。然而，最坏情况优化也带来了一些新的问题。

1.1 高刚性策略的弊端

最坏情况优化增加了策略的鲁棒性，但也可能导致策略过于刚性。例如，在Furuta摆锤实验中，高刚性策略更容易受到小的时间延迟影响，导致振荡问题。具体来说，策略的高刚性使得它对微小的时间延迟非常敏感，从而在控制过程中引发不必要的振动。这种振动不仅影响了系统的稳定性，还可能降低任务的成功率。

1.2 可接受集合的调整

为了平衡鲁棒性和灵活性，可接受集合（admissible set）的大小需要手动调整。可接受集合定义了对手可以施加的最大干扰范围。如果可接受集合设置得过大，策略可能会变得过于保守或悲观，导致在某些情况下什么都不做。反之，如果设置得太小，策略可能无法应对实际环境中的不确定性。

为此，提出了一种使用数据学习可接受集合大小的方法。通过离线规划和在线对物理系统的评估，可以逐步调整可接受集合，直到找到一个既能解决问题又不过于保守的策略。具体步骤如下：

1. 离线规划 ：在每次迭代中，使用离线规划生成一系列候选策略。
2. 在线评估 ：将这些候选策略应用于物理系统，并记录性能。
3. 更新可接受集合 ：根据物理系统的反馈，调整可接受集合的大小，以期获得更好的性能。

这种方法类似于现有的领域随机化方法，通过从数据中学习随机化参数的分布，从而提高性能。

2. 状态分布对策略性能的影响

状态分布对策略的鲁棒性和性能有显著影响。特别是对于从模拟到现实（Sim2Real）的转移，状态分布的重要性尤为突出。实验表明，只有具备均匀初始状态分布的基线才能成功转移到物理环境。以下是具体的影响分析：

2.1 均匀状态分布的优势

均匀状态分布使得策略能够覆盖更广泛的状态空间，从而减少模拟和现实世界系统之间的分布偏移。例如，在Furuta摆锤实验中，均匀分布的初始状态使得策略能够更好地应对各种可能的起始条件，从而提高了鲁棒性。

2.2 动态规划与实时动态规划的对比

动态规划（DP）变体比实时动态规划（RTDP）变体表现更好。这是因为DP从完整的状态域中均匀采样，减少了分布偏移。然而，DP难以扩展到高维系统，因为高维状态空间的采样变得不可行。具体来说：

• 动态规划（DP） ：从完整的状态域中均匀采样，减轻了模拟和现实世界系统之间的分布偏移。
• 实时动态规划（RTDP） ：依赖于当前策略访问过的状态，容易受到状态分布的影响，导致性能下降。

方法	特点	适用场景
动态规划（DP）	从完整的状态域中均匀采样	低维系统
实时动态规划（RTDP）	依赖于当前策略访问过的状态	高维系统

2.3 高维系统的挑战

对于高维系统，用于训练DP cFVI和DP rFVI的数据集D将过于稀疏，无法学习到有价值的近似。因此，关于高奖励状态的信息无法传播到相关状态。在这种情况下，梯度上升会过度拟合到虚假的解决方案，导致无法解决问题。

为了应对这一挑战，需要找到一种方法来获得足够大的状态分布，以便在转移到物理系统时策略是稳健的。这个问题不同于传统的探索-利用权衡，更侧重于最小化分布不匹配。

3. 探索机制的改进

为了改进RTDP变体并扩展到更高维系统，必须改进探索机制。当前的探索机制有时无法发现最优解，特别是在rFVI中，对手会阻止发现最优解，导致策略收敛到悲观解。以下是几种潜在的改进方法：

3.1 使用模型预测控制进行探索

模型预测控制（MPC）是一种在线优化方法，可以在控制过程中不断优化动作序列。具体步骤如下：

1. 在线优化 ：在每个时间步，优化一个短时间段内的动作序列。
2. 应用最优动作 ：仅将最优策略的第一个动作应用于系统。
3. 反馈调整 ：根据系统的反馈，调整后续的动作序列。

这种方法可以有效避免策略收敛到悲观解，并提高探索的多样性。

3.2 结合乐观偏见的在线规划

结合乐观偏见的在线规划是一种改进探索的方法。乐观偏见意味着在探索过程中，优先考虑那些可能带来高奖励的状态。具体步骤如下：

1. 生成候选动作 ：在每个时间步，生成一组候选动作。
2. 评估潜在奖励 ：使用价值函数评估每个候选动作的潜在奖励。
3. 选择最优动作 ：选择具有最高潜在奖励的动作，并应用到系统中。

这种方法可以确保探索过程更加高效，避免陷入局部最优解。

4. 动态模型学习的必要性

所有实验都使用了制造商提供的运动分析方程作为模型，假设模型是已知的。然而，为了进一步扩展，应该将连续时间策略优化与连续时间模型学习结合起来。具体来说，可以使用深度拉格朗日网络（DeLaN）或哈密顿神经网络（HNN）从数据中学习动态模型。

4.1 深度拉格朗日网络（DeLaN）

DeLaN是一种将深度网络与拉格朗日力学相结合的方法，用于学习保持能量守恒的动态模型。通过最小化欧拉-拉格朗日微分方程的平方残差，可以无监督地学习系统的能量。具体步骤如下：

1. 定义拉格朗日量 ：使用两个深度网络分别表示系统的势能和动能。
2. 计算正向和逆向模型 ：结合拉格朗日量和欧拉-拉格朗日微分方程，计算系统的正向和逆向模型。
3. 优化网络参数 ：通过最小化欧拉-拉格朗日方程的平方残差，优化网络参数。

graph LR;
    A[定义拉格朗日量] --> B[计算正向和逆向模型];
    B --> C[优化网络参数];

4.2 哈密顿神经网络（HNN）

HNN是另一种将深度网络与哈密顿力学相结合的方法，用于学习系统的能量。具体步骤如下：

1. 定义哈密顿量 ：使用深度网络表示系统的哈密顿量。
2. 计算正向和逆向模型 ：通过哈密顿方程计算系统的正向和逆向模型。
3. 优化网络参数 ：通过最小化哈密顿方程的平方残差，优化网络参数。

graph LR;
    A[定义哈密顿量] --> B[计算正向和逆向模型];
    B --> C[优化网络参数];

通过将策略优化与模型学习结合起来，可以更好地应对实际环境中的不确定性，并提高策略的鲁棒性和性能。

5. 高维系统中的探索与学习

高维系统中的探索和学习是当前强化学习面临的一大挑战。在鲁棒拟合值迭代（rFVI）和连续拟合值迭代（cFVI）算法中，探索机制的有效性直接影响到策略的性能。特别是在高维系统中，传统的探索方法往往显得力不从心。以下是几种改进探索机制的具体方法和思路：

5.1 基于价值函数集合的探索性不确定性

探索性不确定性是指在价值函数集合中寻找那些未被充分探索的区域，并给予这些区域一定的奖励奖金。具体步骤如下：

1. 计算价值函数集合 ：在每个时间步，计算当前状态的价值函数集合。
2. 评估不确定性 ：评估每个状态的不确定性，通常使用方差或其他统计量。
3. 添加奖励奖金 ：对于不确定性较高的状态，添加奖励奖金，鼓励探索这些区域。

这种方法可以确保探索过程更加全面，避免策略陷入局部最优解。同时，通过奖励奖金，可以激励策略探索那些潜在高奖励的状态。

5.2 使用时间特征的对抗性设置

另一种改进探索的方法是使用对抗性设置，类似于生成对抗网络（GAN）。在这种设置中，一个学习器（生成器）试图生成与真实轨迹相似的模拟轨迹，而另一个学习器（判别器）则试图区分模拟轨迹和真实轨迹。具体步骤如下：

1. 生成模拟轨迹 ：生成器根据当前策略生成一系列模拟轨迹。
2. 判别模拟与真实轨迹 ：判别器评估这些轨迹，给出判别分数。
3. 优化生成器 ：根据判别分数，优化生成器，使其生成的轨迹更接近真实轨迹。

这种方法不仅可以提高探索的多样性，还可以减少学习模型的可利用性，从而提高策略的鲁棒性。此外，判别器可以学习到比朴素均方误差更好的长轨迹之间的距离度量，为策略优化提供更好的监督反馈。

方法	特点	适用场景
基于价值函数集合的探索性不确定性	评估未充分探索的区域并给予奖励	高维系统
使用时间特征的对抗性设置	判别模拟与真实轨迹，优化生成器	高维系统

6. 守恒定律与对称性的学习

当前的rFVI和cFVI算法在损失函数或模型架构中硬编码了守恒定律和对称性。然而，从数据中自动发现这些特性将是一个更为理想的方向。初步的研究已经将深度学习与符号回归结合起来，以推断物理定律。尽管这些方法目前只适用于简单的关系，但它们为未来的研究提供了一个有前景的方向。

6.1 自动发现守恒定律

自动发现守恒定律可以帮助我们更好地理解系统的内在机制，并为模型学习提供更强的归纳偏置。具体步骤如下：

1. 符号回归 ：使用符号回归从数据中推断出系统的守恒定律。
2. 验证与修正 ：通过实验验证推断出的守恒定律，并进行必要的修正。
3. 整合到模型中 ：将发现的守恒定律整合到模型学习过程中，作为归纳偏置。

这种方法可以显著提高模型的泛化能力和鲁棒性，尤其是在面对复杂的物理系统时。

6.2 自动发现对称性

对称性是许多物理系统的重要特性，能够简化模型学习的过程。通过自动发现对称性，可以进一步提高模型的效率和准确性。具体步骤如下：

1. 特征变换 ：将系统状态转换为能够捕捉对称性的特征表示。
2. 学习对称性 ：使用深度学习方法从数据中学习系统的对称性。
3. 应用对称性 ：将学习到的对称性应用到模型学习中，以简化优化过程。

步骤	描述
符号回归	从数据中推断守恒定律
验证与修正	通过实验验证并修正推断出的守恒定律
整合到模型中	将守恒定律作为归纳偏置整合到模型学习中

7. 未来研究方向

尽管rFVI和cFVI算法已经在多个实验中展示了其有效性，但它们仍有诸多局限性。为了进一步提升这些算法的性能，未来的研究可以从以下几个方面入手：

7.1 扩展到接触丰富的任务

大多数现有的模型学习方法，包括rFVI和cFVI，主要关注无接触的铰接体系统。然而，现实世界中的许多任务都涉及到接触。为此，可以考虑将分析接触模型与rFVI和cFVI结合，以处理多接触问题。具体步骤如下：

1. 引入碰撞检测器 ：使用碰撞检测器确定所有接触点及其相应的雅可比矩阵。
2. 计算接触力 ：通过解决线性互补问题，计算接触力。
3. 整合到算法中 ：将接触力整合到rFVI和cFVI的优化过程中，以处理多接触问题。

graph LR;
    A[引入碰撞检测器] --> B[计算接触力];
    B --> C[整合到算法中];

7.2 学习非结构化观察

大多数现实世界中的机器人系统不仅涉及刚体机械臂，还包括非结构化观察。为此，可以使用变分自编码器（VAE）将这些方法扩展到非结构化观察。具体步骤如下：

1. 学习潜在空间 ：VAE学习一个类似于广义坐标的潜在空间。
2. 应用拉格朗日和哈密顿动态 ：在潜在空间中应用拉格朗日和哈密顿动态。
3. 优化潜在空间 ：通过优化潜在空间中的动态，提高模型的鲁棒性和泛化能力。

这种方法可以显著提高模型在复杂环境中的适应性，尤其是对于那些无法直接观察到广义坐标、动量和力的系统。

7.3 改进优化损失

当前的模型学习方法主要优化1步或多步的均方预测误差（MSE）。然而，这种优化损失存在两个问题：首先，MSE与规划性能不相关；其次，某些参数对1步损失几乎没有影响，但对长期预测有不利影响。为此，可以考虑优化对抗性损失，以提高模型的鲁棒性和泛化能力。具体步骤如下：

1. 定义对抗性损失 ：定义一个对抗性损失函数，用于区分模拟和预测轨迹。
2. 训练判别器 ：训练一个判别器，用于评估模拟和预测轨迹的相似性。
3. 优化生成器 ：根据判别器的反馈，优化生成器，使其生成的轨迹更接近真实轨迹。

这种方法不仅可以提高模型的鲁棒性，还可以减少学习模型的可利用性，从而提高策略的性能。

8. 总结与展望

鲁棒拟合值迭代（rFVI）和连续拟合值迭代（cFVI）算法在鲁棒性和泛化能力方面展示了显著的优势。然而，它们也存在一些局限性，如高刚性策略、状态分布的影响、探索机制的不足以及对已知动态模型的依赖。通过改进探索机制、扩展到接触丰富的任务、学习非结构化观察以及优化对抗性损失，可以进一步提升这些算法的性能。

未来的研究应重点关注以下几个方面：

• 自动调整可接受集合 ：通过数据学习可接受集合的大小，以获得更加均衡的策略。
• 处理高维系统 ：探索高维系统中的有效探索方法，以扩展算法的应用范围。
• 自动发现守恒定律和对称性 ：从数据中自动发现守恒定律和对称性，以简化模型学习过程。

通过这些改进，rFVI和cFVI算法将能够更好地应对现实世界中的复杂任务，并为机器人技术和控制领域的进一步发展做出贡献。