5、可扩展低秩表示：高效解决大规模核范数正则优化问题

可扩展低秩表示：高效解决大规模核范数正则优化问题

1. 引言

低秩矩阵学习问题在有损数据压缩、协同过滤、图像处理、文本分析和多媒体分析等领域受到广泛关注。核范数最小化技术是低秩矩阵学习的常用方法，因其理论上有强大的保证，实践中也有不错的性能。然而，求解核范数正则优化问题（NNROPs）并非易事，特别是对于大规模情况。

NNROPs 一般可表述为：
[
\min_{X,E} |X| + \lambda |E| {\ell}, \text{ s.t. } D = A(X) + E
]
其中，(| \cdot | ) 表示核范数，(X \in R^{m \times n}) 和 (E \in R^{m’ \times n’}) 是待学习的未知矩阵，(D \in R^{m’ \times n’}) 是给定矩阵，(A: R^{m \times n} \to R^{m’ \times n’}) 是线性算子，(\lambda > 0) 是加权参数，(| \cdot | {\ell}) 通常表示用于刻画损失项 (E = D - A(X)) 的某种度量。该公式涵盖了矩阵补全、鲁棒主成分分析（RPCA）和低秩表示（LRR）等多种问题。

NNROPs 是凸问题，可以用半定规划（SDP）、加速近端梯度（APG）和增广拉格朗日乘子（ALM）等算法求解。但标准 SDP 求解器复杂度为 (O(n^6))，即使对于小矩阵也代价高昂。ALM 求解问题时复杂度为 (O(n^3))，对于大规模矩阵学习仍然过高。因此，本文旨在高效解决大规模 NNROPs，特别是损失项 (|E|_{\ell}) 不可微的情况。