22、压缩感知：理论、实验与未来挑战

压缩感知：理论、实验与未来挑战

1. 迭代加权最小二乘法的收敛性

在压缩感知中，迭代加权最小二乘法是一种重要的恢复稀疏向量的方法。通过对权重更新规则的简单修改，可以显著提高算法的收敛速度。

1.1 线性收敛

假设 $\sigma_k(x^*) 1 = 0$，结合相关条件可以得到误差的递推关系：
$E {n + 1} = |\eta_{n + 1}| 1 \leq \frac{\gamma(1 + \gamma)}{1 - \rho}(1 + \frac{1}{K + 1 - k})|\eta_n|_1 = \mu E_n$
其中，由于 $\mu < 1$，可以完成归纳步骤，从而得到对于所有 $n \geq n_0$，有 $E {n + 1} \leq \mu E_n$。

1.2 超线性收敛

当 $0 < \tau < 1$ 时，通过修改权重更新规则：
$w_{n + 1}^j = ((x_{n + 1}^j)^2 + \epsilon_{n + 1}^2)^{-\frac{2 - \tau}{2}}, j = 1, \cdots, N$
这对应于将函数 $J$ 替换为：
$J_{\tau}(z, w, \epsilon) := \frac{\tau}{2} \sum_{j = 1}^{N} \left(\frac{z_j^2}{w_j} + \epsilon^2 w_j + \frac{2 - \tau}{\tau} \frac{1}{w_j^{\frac{\tau}{2 - \tau}}}\right)$
其中