12、稀疏回归、表示、分析及传感器优化技术详解

稀疏回归、表示、分析及传感器优化技术详解

1. 稀疏回归

稀疏回归中，使用 ℓ1 范数促进稀疏性的方法早于压缩感知。它可用于正则化统计回归，既能惩罚统计离群值，又能促进使用尽可能少因素的简约统计模型。

1.1 离群值拒绝与鲁棒性

最小二乘回归是常见的数据拟合统计模型，但易受单个大离群值影响，因为离群值到拟合线的距离被平方，权重更大。而 ℓ1 最小化解决方案对所有数据点赋予相同权重，对离群值和损坏数据更具鲁棒性，也称为最小绝对偏差（LAD）回归。

以下是 MATLAB 和 Python 实现 LAD 回归的代码：

% MATLAB 代码
x = sort(4*(rand(25,1)-.5)); % Random data from [-2,2]
b = .9*x + .1*randn(size(x)); % Line y=.9x with noise
atrue = x\b; % Least-squares slope (no outliers)
b(end) = -5.5; % Introduce outlier
acorrupt = x\b; % New slope
cvx_begin; % L1 optimization to reject outlier
variable aL1; % aL1 is slope to be optimized
minimize( norm(aL1*x-b,1) ); % aL1 is robust
cvx_end;

# Python 代码