加权核范数最小化（WNNM算法）

Weighted Nuclear Norm Minimization with Application to Image Denoising

研究背景

核范数平等的正则化每一个奇异值，限制了处理实际问题的能力，在实际情况中，奇异值具有明确的物理意义，应该用不同的方式对待，更大的奇异值通常与主要投影元素有关，因此最好缩小得更少。因此本文研究了加权核范数最小化，给奇异值分配不同的权重，并且利用图像非局部自相似性将WNNM算法用于图像去噪。

加权核范数

为了提高核范数的灵活性，提出了加权核范数并研究了其极小化问题。矩阵X的加权核范数定义为
$$\Vert X{\Vert }_{w,\ast }=\sum _i|w_i{\sigma }_i(X){|}_1,$$
式中：$\mathbf{w}=[w_1,\dots ,w_n]$，$w_i\ge 0$为分配给${\sigma }_i(X)$的非负权重。因此NNM的求解
$$\hat{X}=\arg \underset{X}{\min }\Vert Y-X{\Vert }_F^2+\lambda \Vert X{\Vert }_{\ast },(1)$$
就可以变成：
$$\underset{X}{\min }\Vert \mathbf{Y}-\mathbf{X}{\Vert }_F^2+\Vert \mathbf{X}{\Vert }_{\mathbf{W},\ast }.(2)$$
然而，由于( 2 )式中的目标函数一般不是凸的，因此WNNM问题比NNM更难优化。次梯度条件不再满足，类似的推导无法应用于WNNM。

WNNM的最优化过程

在分析WNNM的优化之前，我们首先给出了以下三个引理

**引理1 **：$\forall A,B\in {\Re }^{m\times n}$，当满足$A^{T}B=0$​时，我们有
$$\begin{array}{rl}& (1)\Vert A+B{\Vert }_{w,\ast }\ge \Vert A{\Vert }_{w,\ast };\\ & (2)\Vert A+B{\Vert }_F\ge \Vert A{\Vert }_F.\end{array}$$

证明：(1)$:\Vert A+B{\Vert }_{w,\ast }\ge \Vert A{\Vert }_{w,\ast }$

首先，考虑矩阵𝐴和 𝐵的奇异值分解：

$$A=U_A{\Sigma }_A{V}_A^T,B=U_B{\Sigma }_B{V}_B^T,$$

由于$A^{T}B=0$,则
$$V_A{\Sigma }_A^T{U}_A^T{U}_B{\Sigma }_B{V}_B^T=0.$$
这意味着 $U_A^T{U}_B$是一个零矩阵，因为 ${\Sigma }_A$ 和${\Sigma }_B$ 是对角矩阵且非零元素不同。

因此，$U_A$和 $U_B$是正交的基，即$U_A^T{U}_B=0$和 $V_A^T{V}_B=0$。这使得 𝐴 和 𝐵的奇异值向量可以直接相加：
$${\Sigma }_{A+B}=\sqrt{{\Sigma }_A^2+{\Sigma }_B^2}.$$
因此，对于 𝐴+𝐵的加权奇异值范数有：
$$\Vert A+B{\Vert }_{w,\ast }=\sum _i|w_i{\sigma }_i(A+B)|=\sum _i|w_i\sqrt{{\sigma }_i(A{)}^2+{\sigma }_i(B{)}^2}|.$$
由于$\sqrt{{\sigma }_i(A{)}^2+{\sigma }_i(B{)}^2}\ge {\sigma }_i(A)$，且$w_i\ge 0$，所以
$$\sum _i|w_i\sqrt{{\sigma }_i(A{)}^2+{\sigma }_i(B{)}^2}|\ge \sum _i|w_i{\sigma }_i(A)|=\Vert A{\Vert }_{w,\ast }.$$
因此得证$\Vert A+B{\Vert }_{w,\ast }\ge \Vert A{\Vert }_{w,\ast }.$

(2):$\Vert A+B{\Vert }_F\ge \Vert A{\Vert }_F$

Frobenius 范数定义为：
$$\Vert X{\Vert }_F=\sqrt{\sum _{i,j}{X}_{ij}^2}.$$
所以原式证明可以转化为：
$$\Vert A+B{\Vert }_F^2\ge \Vert A{\Vert }_F^2.$$
首先计算$\Vert A+B{\Vert }_F^2$:
$$\Vert A+B{\Vert }_F^2=\sum _{i,j}(A_{ij}+B_{ij}{)}^2=\sum _{i,j}(A_{ij}^2+2A_{ij}{B}_{ij}+B_{ij}^2).$$
因为$A^{T}B=0:$，所以${\sum }_{i,j}{A}_{ij}{B}_{ij}=0$
$$\Vert A+B{\Vert }_F^2=\sum _{i,j}(A_{ij}^2+2A_{ij}{B}_{ij}+B_{ij}^2)=\sum _{i,j}{A}_{ij}^2+\sum _{i,j}{B}_{ij}^2+2\cdot 0=\Vert A{\Vert }_F^2+\Vert B{\Vert }_F^2.$$
又因为$\Vert B{\Vert }_F^2\ge 0$，所以
$$\Vert A+B{\Vert }_F^2\ge \Vert A{\Vert }_F^2,$$
去平方根后得证.

引理2：$\forall \mathbf{M}=\left[\begin{array}{cc}A& B\\ C& D\end{array}\right]$，其中$A\in {\Re }^{m\times m}$、$\boldsymbol{D}\in\Re^{n\times n} $，如果权重满足$w_{1}\geq\cdot\cdot\cdot\geq w_{m+n}\geq0$，可得
$$\Vert M{\Vert }_{w,\ast }\ge \Vert A{\Vert }_{w_1,\ast }+\Vert D{\Vert }_{w_2,\ast },$$
其中$\mathbf{w}=[w_1,\dots ,w_{m+n}]$，${\mathbf{w}}_1=[w_1,\dots ,w_m]$、${\mathbf{w}}_2=[w_{m+1},\dots ,w_{m+n}]$​

证明：

对于分块矩阵M，其奇异值与其子块矩阵 𝐴A 和 𝐷D 的奇异值满足如下关系：

假设${\sigma }_i(X)$​ 表示矩阵 𝑋的第 𝑖大奇异值，那么有
$$\begin{gathered} {\sigma }_i(\mathbf{M})\ge {\sigma }_i(A)\mathrm{for}i=1,2,\dots ,m \\ {\sigma }_i(\mathbf{M})\ge {\sigma }_i(D)\mathrm{for}i=1,2,\dots ,n \end{gathered}$$
利用上述不等式和权重$w_i$​​的非递增性，我们可以得出：
$$\begin{array}{rl}\Vert \mathbf{M}{\Vert }_{w,\ast }& =\sum _{i=1}^{m+n}{w}_i{\sigma }_i(\mathbf{M})\\ \Vert A{\Vert }_{w_1,\ast }& =\sum _{i=1}^m{w}_i{\sigma }_i(A)\\ \Vert D{\Vert }_{w_2,\ast }& =\sum _{i=1}^n{w}_{m+i}{\sigma }_i(D)\end{array}$$
分别对 𝐴和 𝐷的奇异值与其对应权重乘积求和:
$$\begin{gathered} \sum _{i=1}^m{w}_i{\sigma }_i(A)\le \sum _{i=1}^m{w}_i{\sigma }_i(\mathbf{M}) \\ \sum _{i=1}^n{w}_{m+i}{\sigma }_i(D)\le \sum _{i=1}^n{w}_{m+i}{\sigma }_{m+i}(\mathbf{M}) \end{gathered}$$
所以$\Vert \mathbf{M}{\Vert }_{w,\ast }\ge \Vert A{\Vert }_{w_1,\ast }+\Vert D{\Vert }_{w_2,\ast }$，得证

引理3 .设$\forall A\in {\Re }^{n\times n}$，和具有非升序的有序对角元的对角非负矩阵$\mathbf{W}\in {\Re }^{n\times n}$。令$\mathbf{A}=\mathbf{X}\mathbf{\Phi }{\mathbf{Y}}^T$是A的奇异值分解，有
$$\sum _i{\sigma }_i(A){\sigma }_i(W)=\underset{{\mathbf{U}}^T\mathbf{U}=\mathbf{I},{\mathbf{V}}^T\mathbf{V}=\mathbf{I}}{\max }tr[\mathbf{W}{\mathbf{U}}^T\mathbf{A}\mathbf{V}],$$
其中I是单位矩阵，${\sigma }_i(A)$和${\sigma }_i(W)$分别是矩阵A和W的第i个奇异值.当U = X，V = Y时，$tr[{\mathbf{WU}}^T\mathbf{AV}]$达到最大值。

证明：

需要证明当 U=X 和 V**=Y 时，$\mathrm{tr}[{\mathbf{WU}}^T\mathbf{AV}]$​达到最大值。

利用一个重要的矩阵分析结果，即对于任何对角矩阵 D 和任意正交矩阵 P，有
$$\mathrm{tr}[\mathbf{DP}]\le \sum _i{d}_i{\lambda }_i(\mathbf{P}),$$
其中 𝑑𝑖是 𝐷的对角元，而 𝜆𝑖(𝑃) 是 𝑃的奇异值。

当 𝑃P 是正交矩阵时，其奇异值都是 1，所以对任意正交矩阵𝑈和 𝑉，有
$$\mathrm{tr}[\mathbf{W}{\mathbf{U}}^T\mathbf{A}\mathbf{V}]\le \sum _{i=1}^n{w}_i{\sigma }_i(A).$$
当 U**=X、**V=Y 时，这个上界可以达到，因为此时
KaTeX parse error: Can't use function '$' in math mode at position 106: …oldsymbol{AY}]=$̲\mathrm{tr}[\bo…

**定理1：**令$\forall Y\in {\Re }^{m\times n},$，用$Y=U\mathbf{\Sigma }{V}^T$表示其SVD。对于(2)式中权重向量w非负的WNNM问题，其解$\hat{\mathbf{X}}$可写为$\hat{X}=U\hat{\mathbf{B}}{V}^T$，其中$\hat{\mathbf{B}}$为下面优化问题的解
$$\hat{\mathbf{B}}=\arg \underset{\mathbf{B}}{\min }\Vert \mathbf{\Sigma }-\mathbf{B}{\Vert }_F^2+\Vert \mathbf{B}{\Vert }_{\mathbf{w},\ast }.(3)$$

证明：用$U_{\perp }$​表示U的补空间的正交基集合

令$X=U{A}_1+U_{\perp }{A}_2$，式中：$A_1$和$A_2$分别为X在子空间U和$U_{\perp }$​中的分量。那么我们就有了
$$\begin{array}{rl}f(\mathbf{X})=& \Vert \mathbf{Y}-\mathbf{X}{\Vert }_F^2+\Vert \mathbf{X}{\Vert }_{\mathbf{w},\ast }\\ =& \Vert \mathbf{U}\mathbf{\Sigma }{V}^T-\mathbf{U}{\mathbf{A}}_1-{\mathbf{U}}_{\perp }{\mathbf{A}}_2{\Vert }_F^2+\Vert \mathbf{U}{\mathbf{A}}_1+{\mathbf{U}}_{\perp }{\mathbf{A}}_2{\Vert }_{\mathbf{w},\ast }\\ \ge & \Vert \mathbf{U}\mathbf{\Sigma }{V}^T-\mathbf{U}{\mathbf{A}}_1{\Vert }_F^2+\Vert \mathbf{U}{\mathbf{A}}_1{\Vert }_{\mathbf{w},\ast }(Lemma\boxed{1}).\end{array}$$
类似地，对于行空间基V，有
$$f(\mathbf{X})\ge \Vert \mathbf{U}\mathbf{\Sigma }{\mathbf{V}}^T-\mathbf{U}\mathbf{B}{\mathbf{V}}^T{\Vert }_F^2+\lambda \Vert \mathbf{U}\mathbf{B}{\mathbf{V}}^T{\Vert }_{\mathbf{w},\ast }.$$
正交矩阵U和V不会改变F -范数和加权核范数，因此有
$$f(X)\ge \Vert \Sigma -B{\Vert }_F^2+\lambda \Vert B{\Vert }_{w,\ast }.$$
因此，如果我们有(3)中极小化问题的解，那么( 2 )中原始WNNM问题的解可以表示为$\hat{X}=U\hat{\mathbf{B}}{V}^T$.

基于上述引理和定理，我们分3种情况讨论WNNM问题的解：权重$w_1\ge \cdot \cdot \cdot \ge w_n\ge 0$分别为非升序、任意序和非降序。

非升序

根据定理1，当$w_1\ge \cdot \cdot \cdot \ge w_n\ge 0$时，有(2)式中WNNM问题的全局最优解。我们有如下定理。

定理2：若权重满足$w_1\ge \cdot \cdot \cdot \ge w_n\ge 0$，则式( 2 )中的WNNM问题存在全局最优解：
$$\hat{X}=U{\mathcal{S}}_w(\Sigma )V^T,$$
式中：$Y=U\Sigma V^T$为Y的SVD，${\mathcal{S}}_w(\mathbf{\Sigma })$​为带权向量w的广义软阈值算子
$${\mathcal{S}}_{\mathbf{w}}(\mathbf{\Sigma }{)}_{ii}=\max ({\mathbf{\Sigma }}_{ii}-w_i,0).$$
证明:考虑(3)中的优化问题，假设${\mathbf{\Lambda }}_{\mathbf{B}}$是对角矩阵，且${\mathbf{\Lambda }}_{\mathbf{B}}$的对角元素与矩阵B的对角元素相同，我们有
$$\begin{array}{rlr}& \Vert \mathbf{\Sigma }-\mathbf{B}{\Vert }_F^2+\lambda \Vert \mathbf{B}{\Vert }_{\mathbf{w},\ast }& \\ =& \Vert \mathbf{\Sigma }-{\mathbf{\Lambda }}_{\mathbf{B}}-(\mathbf{B}-{\mathbf{\Lambda }}_{\mathbf{B}}){\Vert }_F^2+\Vert {\mathbf{\Lambda }}_{\mathbf{B}}+(\mathbf{B}-{\mathbf{\Lambda }}_{\mathbf{B}}){\Vert }_{\mathbf{w},\ast }& \\ \ge & |\mathbf{\Sigma }-{\mathbf{\Lambda }}_{\mathbf{B}}{\Vert }_F^2+\Vert {\mathbf{\Lambda }}_{\mathbf{B}}{\Vert }_{\mathbf{w},\ast }& (Lemma\boxed{2}).\end{array}$$
因此，在这样的权重条件下，( 3 )式的最优解具有对角形式${\mathbf{\Lambda }}_{\mathbf{B}}$。Σ和${\mathbf{\Lambda }}_{\mathbf{B}}$都是对角矩阵，可以通过对每个元素进行软阈值操作得到解。根据定理1的结论，( 2 )式的最优解为$\hat{\mathbf{X}}=\mathbf{U}{\mathcal{S}}_{\mathbf{w}}(\mathbf{\Sigma }){\mathbf{V}}^T$。

任意顺序

在权重$w_{i=1\cdots n}$​不是非升序而是任意序的情况下，( 5 )中的WNNM问题是非凸的，因此不能有全局最小值。我们提出了一个迭代算法来求解它

在定理1中，我们已经证明了( 2 )的解可以通过求解( 3 )得到。令$B=P\Lambda Q^T$​为B的奇异值分解。我们迭代求解下面的优化问题
$$\begin{array}{rl}(\hat{\mathbf{P}},\hat{\mathbf{\Lambda }},\hat{\mathbf{Q}})& =\arg \underset{\mathbf{P},\mathbf{\Lambda },\mathbf{Q}}{\min }\Vert \mathbf{P}\mathbf{\Lambda }{\mathbf{Q}}^T-\mathbf{\Sigma }{\Vert }_F^2+\Vert \mathbf{P}\mathbf{\Lambda }{\mathbf{Q}}^T{\Vert }_{\mathbf{W},\ast },\\ & s.t.{\mathbf{P}}^T\mathbf{P}=\mathbf{I},{\mathbf{Q}}^T\mathbf{Q}=\mathbf{I}\end{array}(4)$$
迭代过程：

1. 给定非负对角矩阵Λ，我们求解
   $$(\hat{\mathbf{P}},\hat{\mathbf{Q}})=\arg \underset{\mathbf{P},\mathbf{Q}}{\min }\Vert {\mathbf{P}\mathbf{\Lambda }\mathbf{Q}}^T-\mathbf{\Sigma }{\Vert }_F^2$$
   基于Frobenius范数的定义，有
   $$\begin{array}{rl}& \underset{\mathbf{P},\mathbf{Q}}{\min }\Vert {\mathbf{P}\mathbf{\Lambda }\mathbf{Q}}^T-\mathbf{\Sigma }{\Vert }_F^2\\ & =\underset{\mathbf{P},\mathbf{Q}}{\min }tr[({\mathbf{P}\mathbf{\Lambda }\mathbf{Q}}^T-\mathbf{\Sigma })({\mathbf{P}\mathbf{\Lambda }\mathbf{Q}}^T-\mathbf{\Sigma }{)}^T]\\ & =tr[\mathbf{\Lambda }\mathbf{\Lambda }+\mathbf{\Sigma }\mathbf{\Sigma }]-2\underset{\mathbf{P},\mathbf{Q}}{\max }tr[\mathbf{P}\mathbf{\Lambda }{\mathbf{Q}}^T{\mathbf{\Sigma }}^T]\\ & =tr[\mathbf{\Lambda }\mathbf{\Lambda }+\mathbf{\Sigma }\mathbf{\Sigma }]-2\sum _i{\sigma }_i(\mathbf{\Sigma }){\sigma }_i(\mathbf{\Lambda })(Lemma\boxed{3})\end{array}$$
   P和Q的最优解分别为矩阵Λ的SVD的列基和行基。由于Λ已经是对角矩阵，P和Q是置换矩阵，使得对角矩阵$\mathbf{P}\mathbf{\Lambda }{\mathbf{Q}}^T$​具有非升序的对角元素。

2. 给定正交矩阵P和Q，求解
   $$\hat{\mathbf{\Lambda }}=\arg \underset{\mathbf{\Lambda }}{\min }\Vert \mathbf{P}\mathbf{\Lambda }{\mathbf{Q}}^T-\mathbf{\Sigma }{\Vert }_F^2+\Vert \mathbf{P}\mathbf{\Lambda }{\mathbf{Q}}^T{\Vert }_{\mathbf{w},\ast }.$$
   由于$\mathbf{P}\mathbf{\Lambda }{\mathbf{Q}}^T$​是具有非升序元素的对角矩阵，我们有
   $$\hat{\mathbf{\Lambda }}=\arg \underset{\mathbf{\Lambda }}{\min }\sum _i\Vert (\mathbf{P}\mathbf{\Lambda }{\mathbf{Q}}^T{)}_{ii}-{\mathbf{\Sigma }}_{ii}{\Vert }_2^2+|w_i\cdot (\mathbf{P}\mathbf{\Lambda }{\mathbf{Q}}^T{)}_{ii}{|}_1.$$
   可以对对角矩阵$\mathbf{P}\mathbf{\Lambda }{\mathbf{Q}}^T$​的每个元素进行软阈值操作。因为P和Q是只改变对角元素位置的置换矩阵，所以有
   $$\hat{\mathbf{\Lambda }}={\mathbf{P}}^T{\mathcal{S}}_{\mathbf{w}}(\mathbf{\Sigma })\mathbf{Q}.$$
   通过迭代上述两个步骤，(6)可以通过对对角元素排序和奇异值收缩来迭代求解：
   $$\{\begin{array}{l}({\mathbf{P}}_{(k+1)}^T,\mathbf{\Phi },{\mathbf{Q}}_{(k+1)}^T)=SVD({\mathbf{\Lambda }}_{(k)});\\ {\mathbf{\Lambda }}_{(k+1)}={\mathbf{P}}_{(k+1)}^T{\mathbf{S}}_{\mathbf{w}}(\mathbf{\Sigma }){\mathbf{Q}}_{(k+1)}.\end{array}(5)$$
   基于定理1的结论，可以得到$\hat{\mathbf{X}}$​的最终估计为
   $$\hat{X}=\mathbf{U}{\hat{\mathbf{P}}}^T{\mathcal{S}}_{\mathbf{w}}(\mathbf{\Sigma })\hat{\mathbf{Q}}{V}^T.$$

非降序

最后，我们考虑另一种特殊但非常有用的情况，即权重$w_{i,...,n}$是非降序排列的。基于任意顺序之中提出的迭代算法，我们有如下推论。

推论1 如果权重满足$0\le w_1\le \dots \le w_n,$，则任意顺序之中的迭代算法将有一个不动点$\hat{X}=U{\mathcal{S}}_{\mathbf{w}}(\mathbf{\Sigma })V^T.$

证明:在(5)式中，通过将${\Lambda }_{(0)}$初始化为具有非升序对角元的对角矩阵，我们有
$$\{\begin{array}{l}({\mathbf{P}}_{(1)}=\mathbf{I},\mathbf{\Phi }={\mathbf{\Lambda }}_{(0)},{\mathbf{Q}}_{(1)}=\mathbf{I})=SVD({\mathbf{\Lambda }}_{(0)});\\ {\mathbf{\Lambda }}_{(1)}=\mathbf{I}{\mathbf{S}}_{\mathbf{w}}(\mathbf{\Sigma })\mathbf{I}={\mathbf{S}}_{\mathbf{w}}(\mathbf{\Sigma }).\end{array}$$
因此，令$\forall 0<i<j\le n,$，有${\Sigma }_{ii}\ge {\Sigma }_{jj}$、$w_i\le w_j$。经过软阈值操作后，${\Lambda }_{(1)}=S_{\mathbf{w}}(\mathbf{\Sigma })$仍然满足非升阶。因此在下一次迭代中，P和Q仍为单位矩阵，式( 4 )的优化达到一个固定点。基于定理1的结论，我们通过$\hat{\mathbf{X}}=\mathbf{U}{\mathcal{S}}_{\mathbf{w}}(\mathbf{\Sigma })V^T$得到X的不动点估计.

推论1中的结论是非常重要和有用的.矩阵的奇异值总是按照非升序排列，较大的奇异值通常对应于数据矩阵中较重要成分的子空间。因此，我们最好对较大的奇异值进行较小的收缩，即在加权核范数中对较大的奇异值赋予较小的权重。在这种情况下，推论1保证了我们提出的迭代算法有一个不动点。此外，该不动点具有解析形式(即( $,\hat{X}=U{\mathcal{S}}_{\mathbf{w}}(\mathbf{\Sigma })V^T$ )。因此，在实际中我们不需要真正地迭代，而是直接在一个步骤中得到想要的解，这使得我们提出的方法非常有效。

WNNM用于图像去噪

图像去噪的目的是从含噪图像$y=x+n$中恢复出原始图像x。其中n是均值为零，方差为${\sigma }_n^2$的加性高斯白噪声。对于图像y中的一个局部块$y_j$，我们可以通过块匹配等方法在图像(在实际中,在足够大的局部窗口内)中搜索它的非局部相似块。通过将这些非局部相似块堆叠成一个矩阵，记为Yj，得到：
$${\mathbf{Y}}_j={\mathbf{X}}_j+{\mathbf{N}}_j$$
其中$X_j$和$N_j$分别是原始图像和噪声的块矩阵。

将提出的WNNM模型应用于$Y_j$来估计$X_j$，用于图像去噪。通过使用噪声方差${\sigma }_n^2$来归一化F范数数据保真项$\Vert {\mathbf{Y}}_j-{\mathbf{X}}_j{\Vert }_F^2$​，我们有如下能量函数：
$${\hat{\mathbf{X}}}_j=\arg \underset{{\mathbf{X}}_j}{\min }\frac{1}{{\sigma }_n^2}\Vert {\mathbf{Y}}_j-{\mathbf{X}}_j{\Vert }_F^2+\Vert {\mathbf{X}}_j{\Vert }_{\mathbf{W},\ast }.(6)$$
显然，现在的关键问题是权重向量w的确定。对于自然图像，我们有一个普遍的先验知识，即$X_j$的较大奇异值比较小的奇异值更重要，因为它们代表了$X_j$的主要成分的能量。在去噪应用中，奇异值越大，应收缩的越少。因此，一个自然的想法是，分配给$X_j$的第i个奇异值${\sigma }_i({\mathbf{X}}_j)$的权重应该与${\sigma }_i({\mathbf{X}}_j)$成反比。令
$$w_i=c\sqrt{n}/({\sigma }_i({\mathbf{X}}_j)+\epsilon ),(7)$$
其中c > 0是常数，n是$Y_j$中相似块的个数，$\epsilon =10^{-16}$​是为了避免除以零.

根据此权重可以用非降序的WNNM算法用于模型(7),然而，仍然存在一个问题，即奇异值${\sigma }_i({\mathbf{X}}_j)$不可用。我们假设噪声能量均匀分布在由U和V的基对张成的每个子空间上。

则初始σ i ( Xj )可以估计为:
$${\hat{\sigma }}_i({\mathbf{X}}_j)=\sqrt{\max ({\sigma }_i^2({\mathbf{Y}}_j)-n{\sigma }_n^2,0)},$$
其中${\sigma }_i({\mathbf{Y}}_j)$是$Y_j$的第i个奇异值.注意，由于${\sigma }_i({\mathbf{Y}}_j)$总是按非升序排序，所以得到的权重$w_{i=1,...,n}$是保证非降序的

算法如下：

ps:

补空间的正交集合指的是给定向量空间 𝑉中的子空间 𝑈** 的正交补空间。具体来说，如果 𝑈⊆𝑉是 𝑉的子空间，则 $U_{\perp }$是满足以下条件的向量集合：

1. $U_{\perp }$包含所有与 𝑈中每个向量正交的 𝑉中的向量。
2. 如果$v\in U_{\perp }$，那么对于$u\in U$，有$⟨v,u⟩=0$，即 𝑣 和 𝑈中所有向量正交。

更具体地说，$U_{\perp }$是满足 U ⊥ = { v ∈ V ∣ ⟨ v , u ⟩ = 0 , ∀ u ∈ U } U^\perp=\{v\in V\mid\langle v,u\rangle=0,\forall u\in U\} U⊥={v∈V∣⟨v,u⟩=0,∀u∈U}的向量集合。

性质和特点

• $U_{\perp }$是是 𝑉的一个子空间。
• U ∩ U ⊥ = { 0 } U\cap U^\perp=\{0\} U∩U⊥={0}，即 𝑈和$U_{\perp }$中的向量只有零向量共同。
• 对于 𝑉中的任意向量𝑣，可以唯一地表示为 $v=u+w,$其中 $u\in U\text{ 且 }w\in U_\perp $。