10、大规模算法：优化与求解技术解析

大规模算法：优化与求解技术解析

1. 非线性最小化的信赖域方法

信赖域方法是优化领域中一个简单却强大的概念，许多优化工具都基于此方法。在无约束最小化问题中，目标是找到函数 ( f(x) ) 的最小值，其中 ( f ) 接受向量参数并返回标量。假设当前处于 ( n ) 维空间中的点 ( x )，想要移动到函数值更小的点。基本思路是用一个更简单的函数 ( q ) 来近似 ( f )，这个近似函数 ( q ) 能合理反映 ( f ) 在点 ( x ) 附近邻域 ( N ) 内的行为，这个邻域 ( N ) 就是信赖域。

通过在 ( N ) 上最小化（或近似最小化） ( q(s) ) 来计算试探步 ( s )，即求解信赖域子问题：
[ \min_{s} q(s) \quad \text{s.t.} \quad s \in N ]

如果 ( f(x + s) < f(x) )，则将当前点更新为 ( x + s )；否则，当前点保持不变，缩小信赖域 ( N ) 并重新计算试探步。

在标准信赖域方法中，二次近似 ( q ) 由 ( f ) 在 ( x ) 处的泰勒近似的前两项定义，邻域 ( N ) 通常是球形或椭球形。数学上，信赖域子问题通常表述为：
[ \min \frac{1}{2} s^T H s + s^T g \quad \text{s.t.} \quad | Ds | \leq \Delta ]
其中 ( g ) 是 ( f ) 在当前点 ( x ) 处的梯度， ( H ) 是海森矩阵（二阶导数的对称矩阵）， ( D ) 是对角缩放矩阵， ( \Delta ) 是正标量， ( | \cdot | ) 是 2 - 范数。