11、从精确解到近似解：稀疏优化算法的性能与分析

从精确解到近似解：稀疏优化算法的性能与分析

1. 近似解的质量评估

在稀疏优化问题中，LARS和IRLS作为求解$(Q_{\lambda}^1)$的算法，只是对我们真正期望的$(P_{\epsilon}^0)$问题解的近似。同样，OMP和其他贪心算法也以求解$(P_{\epsilon}^0)$为目标，这为我们比较这些不同技术提供了共同基础。

为了评估这些算法的近似质量，我们进行了如下实验：
1. 数据生成 ：创建一个大小为$30 \times 50$的随机矩阵$A$，其元素从正态分布中抽取，并对其列进行归一化。生成稀疏向量$x_0$，其独立同分布的随机支撑集的基数范围为$[1, 15]$，非零元素从区间$[-2, -1] \cup [1, 2]$中随机均匀抽取。计算$b = Ax + e$，其中$e$是零均值的独立同分布高斯噪声，标准差设为$\sigma = 0.1$。
2. 算法应用 ：对LARS和OMP算法进行应用，两者都逐个添加原子，提供一组解。从这些解中选择满足$|A\hat{x} - b|_2^2 \leq 2n\sigma^2$的最稀疏解。
3. 性能评估 ：对每个基数进行200次测试，给出$\ell_2$恢复误差（$x_0$与其估计$\hat{x}$之间）和支撑距离的平均结果。

实验结果如图所示：
| 算法 | $\ell_2$恢复误差 | 支撑检测成功率 | 平均解的基数 |
| ---- | ---- | ---- | ---- |
| OMP | 较小 | 较好 | 接近原始基数 |