12、迭代收缩算法：从精确解到近似解的优化之路

迭代收缩算法：从精确解到近似解的优化之路

1. 从精确解到近似解的策略

在求解相关问题时，为了得到更优的结果，有两个关键策略值得关注：

1.1 允许罕见失败

传统的分析在追求成功或唯一性的保证范围内不允许失败。但如果允许极小部分的失败情况出现，那么相应的界限可以变得更高，结果也会更乐观。在大多数实际应用中，实施者往往愿意偶尔牺牲一个求解问题，以换取总体上较高的成功率。

1.2 改进矩阵 A 的最坏情况表征

矩阵 A 的相干性、RIP（受限等距性质）和火花值等都是用于表征矩阵 A 的最坏情况度量。即便在前面两个方面改进了分析，但使用这些度量来设置界限时，很可能会导致过于悲观的结果。解决办法是用更宽松的度量来替代它们，例如概率性的 RIP/相干性等。

2. 核心优化问题 (Qλ1)

本章定义了一个基础的优化问题 (Qλ1)，该问题在后续的求解中至关重要。对于高维问题，OMP（正交匹配追踪）、LARS（最小角回归）和 IRLS（迭代加权最小二乘法）等方法的表现往往不尽如人意。因此，可靠地数值求解 (Qλ1) 问题具有重大价值。

3. 迭代收缩算法概述

3.1 背景

目标是最小化形如 (f(x) = \lambda 1^T \rho(x) + \frac{1}{2} |b - Ax|_2^2) 的函数。其中，函数 (\rho(x)) 对向量 (x) 的每个元素进行操作。这个函数是之前定义的 (Qλ1) 的广义版本。

传统的迭代优化算法，如最速下降法、共轭梯度法和内点算法等，在处理这类问题时效率较低，尤其是在高维