（论文阅读-鲁棒回归的低秩稀疏子空间表示）Low-Rank-Sparse Subspace Representation for Robust Regression

1.论文链接

http://openaccess.thecvf.com/content_cvpr_2017/papers/Zhang_Low-Rank-Sparse_Subspace_Representation_CVPR_2017_paper.pdf

2.论文结构

Abstract：

Introduction：

Subspace view of Regression Approaches

• Subspace View of Typical Regression Models
• Subspace Recovery
• Regression Optimization

Low Rank Subspace Sparse Representation for Regression

• The LRS-RR Regression model
• LAMDMAP solution for LRS-RR model

Convergence Analysis and Computation Complexity Analysis

• Convergence Analysis
• Computation Complexity Analysis

Experiments

3.难点单词：

tackle n. 滑车；装备；用具；扭倒 vi. 扭倒；拦截抢球 vt. 处理；抓住；固定；与…交涉

systematic adj. 系统的；体系的；有系统的；[图情] 分类的；一贯的，惯常的

inlier n. 内围层；内窗层

non-orthogonal adj. 非正交的；非正角正交

discriminant n. [数] 判别式

bilinear adj. 双线性的

ambient n. 周围环境 adj. 周围的；外界的；环绕的

jeopardizes v. 危害（jeopardize的第三人称单数）

intersected adj. 分割的 v. 分割（intersect的过去分词）；交叉；横穿

uneven（奇数的） illumination （照明；照度；启发；灯饰） 照度不匀

4.论文要点：

• 线性回归：线性回归是利用数理统计中回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法，运用十分广泛。其表达形式为y = w'x+e，e为误差服从均值为0的正态分布。
• 线性回归的两个缺点：
  • lack of robustness to outliers/noises
  • the curse of dimensionality
• 噪声主要来源于三个方面：
  • statistically salient data
  • miscollected noised data
  • occluded multi-class data
• 典型回归模型的子空间观点：
  • 经典的回归方法一般是和监督子空间有关，像LSR、Ride Regression、LASSO和Least Angle Regression.
  • LSR通过从输入变量和输出变量上学习一系列线性地图，这些地图能够代表准确子空间的一组超平面。
  • Ride Regression：增加了L2范数来规则化偏项回归模型。学习的超平面是在样本空间和非样本空间上的平衡。
  • LASSO：能够从整个样本空间上选择一个稀疏线性特征地图，能够通过选择特征空间在子空间当作是一个线性表示。
  • LARS：也是在选择特征的子空间中学习一个稀疏线性回归模型。
  • Principal Component Regression：从输入变量子空间范围内学习稀疏矩阵。
  • LDA：是监督子空间学习方法，通过学习输入变量的多项式子空间，输入变量包含所有类变量。

5.研究思路：

• 列举了线性回归的问题
• 讨论了噪声产生的原因和研究现状
• 讨论了关于鲁棒方法的研究现状
• 提出低秩回归来解决线性回归curse of dimensionality的问题而且能够减少噪声和发现outliers.
• Cai 等人提出了低秩回归等价于学习线性多项式分析工程子空间的规则化回归，这种回归能够减少普通分布的噪声。
• 但是这些方法不能解决主要子空间中的大噪声，最近的鲁棒子空间恢复方法（类似robust principle analysis）正着力于这方面。
• 这些方法通常是用无监督方式在独立变量中去除噪声，因此缺少非独立变量之间的联系。
• 最近，低秩鲁棒回归（Low-Rank Robust Regression<LR-RR>）被提出，在干净的低秩样本空间（和输出变量有很强的联系）中来学习鲁棒回归模型。
• 尽管LR-RR能够减少大部分任意在主子空间和非主子空间中的稀疏噪声，但是它对于分离子空间中的噪声太敏感。
• 文章的灵感主要是来自低秩鲁棒回归（low rank robust regression）、低秩稀疏子空间表示（low rank sparse subspace clustering）、和一些较早的秩优化方法如：鲁棒主成份分析（Pobust Principal Component Analysis）
• 在这篇文章中，我们的目标是发现内在样本噪点在分离子空间上的鲁棒回归。我们提出了一种通过低秩稀疏表示的新鲁棒回归方法，这不仅恢复了低秩分离子空间，而且通过稀疏优化展现了回归的鲁棒性。

6.解决问题：

few of the existing low-rank regression methods can handle the outliers/noise lying on the sparsely corrupted disjoint subspaces.

现存的低秩回归方法，很少能够处理存在于稀疏分离子空间中的噪声/离群值。