51、决策理论规划相关知识解析

决策理论规划相关知识解析

在决策理论规划中，涉及到多个重要的概念和方法，下面将为大家详细介绍。

优化问题基础

在优化问题里，若不确定使用最小值（min）还是下确界（inf），使用 inf 通常更保险。当最小值存在时，下确界能得出最小值；当最小值不存在时，下确界也能给出合理结果。不过，在有限集合 U 这种明显不需要 inf 的情况下使用它，可能会显得不合适。

优化问题还存在“倒置”版本，即把成本函数 L 乘以 -1。结果本质上没有改变，但有时将问题表述为最大化问题会更自然。此时会定义奖励函数 R 而非成本函数，任务是选择能使奖励最大化的动作 u。最大化问题可通过令 L(u) = -R(u) 轻松转化为最小化问题。对于最大化问题，下确界可替换为上确界（sup），它是所有 u 对应的 R(u) 的最小上界。

多数情况下，在单个决策阶段选择最优的 u 相对直接，但规划问题会因其他诸多方面而变得复杂。当 U 和 L 复杂时，优化本身极具挑战性。比如，U 可能是有限但规模极大的集合，或者是高维（如 1000 维）的 Rn 子集；成本函数可能极难甚至无法用简单的封闭形式表达。若函数足够简单，基于一阶和二阶导数的标准微积分工具或许适用，但在现实应用中，往往需要更复杂的技术。很多技术涉及梯度下降，只能确保找到局部最小值，很多时候还需要基于采样的技术。对于某些类型的问题，可能存在组合解决方案，如线性规划涉及寻找一组线性函数的最小值或最大值，有许多组合方法。

优化中的基于采样和组合方法与运动规划有有趣的相似之处。最优运动规划实际上对应路径空间上的优化问题，极难描述。在某些特殊情况下能找到最优解，但总体而言这类问题极具挑战性。变分法是解决满足微分约束的路径空间上优