13、低秩矩阵逼近与高阶Volterra滤波器的降秩实现

低秩矩阵逼近与高阶Volterra滤波器的降秩实现

1. 低秩矩阵逼近

1.1 奇异值阈值算法（SVT）

在处理受扰动项 $E$ 污染的低秩矩阵逼近问题时，我们观察到数据矩阵 $D = A + E$。为了逼近 $D$，可以求解以下凸优化问题：

$$\min_{X} \frac{1}{2} | D - X | {F}^{2} + \tau | X | {*}$$

其中 $| \cdot |_{*}$ 表示矩阵的核范数（即其奇异值之和）。

为了解决上述问题，引入软阈值算子 $D_{\tau}$，定义如下：

对于矩阵 $M$ 的奇异值分解 $M = U \Sigma V^{T}$，$D_{\tau}(M) = U S_{\tau}(\Sigma) V^{T}$，其中 $S_{\tau}(\Sigma)$ 是对 $\Sigma$ 的对角元素进行软阈值操作，即 $S_{\tau}(\sigma_{i}) = \max(\sigma_{i} - \tau, 0)$。

通过引入拉格朗日乘子 $Y$ 去除不等式约束，得到增广拉格朗日函数。经典增广拉格朗日乘子法的迭代方案如下：

$$
\begin{cases}
X^{k + 1} = \arg\min_{X} L(X, Y^{k}, \mu^{k}) \
Y^{k + 1} = Y^{k} + \mu^{k} (D - X^{k + 1}) \
\mu^{k + 1} = \rho \mu^{k}
\end{cases}
$$

基于最优性条件，