51、决策理论规划与概率基础：优化、随机策略与应用

决策理论规划与概率基础：优化、随机策略与应用

1. 决策理论规划中的优化问题

1.1 基本优化概念

在决策理论规划里，优化是核心问题。当不确定使用最小值（min）还是下确界（inf）时，使用 inf 更稳妥。因为只要最小值存在，下确界就会得出最小值；而当最小值不存在时，下确界也能给出合理结果。不过，在有限集合 U 的情况下使用 inf 可能会显得多余。

优化问题还存在“颠倒”版本，即通过将成本函数 L 乘以 -1，可把最小化问题转化为最大化问题。此时，可定义奖励函数 R 替代成本函数 L，任务变为选择能使奖励最大化的动作 u。对于最大化问题，下确界 inf 可替换为上确界 sup，sup 是所有 u 对应的 R(u) 的最小上界。

1.2 优化的挑战与解决方法

在实际中，优化并非易事。若集合 U 和成本函数 L 复杂，优化会极具挑战性。例如，U 可能是有限但规模极大的集合，或者是高维（如 1000 维）的 Rn 子集，成本函数也可能难以用简单的封闭形式表达。

若函数足够简单，可使用基于一阶和二阶导数的标准微积分工具。但在大多数实际应用中，需要更复杂的技术，如梯度下降法，不过它通常只能找到局部最小值。很多情况下，还需要基于采样的技术，像离散化等采样思想就是在优化背景下发展起来的。

对于某些类型的问题，可能存在组合解决方案。例如，线性规划涉及寻找一组线性函数的最小值或最大值，有许多组合方法可解决此类问题。

1.3 优化与运动规划的关联

优化与运动规划有有趣的相似之处。最优运动规划实际上对应于路径空间上的优化问题，这很难进行特征描述。在某些特殊情况下，能找