5、基于秩的回归：从基础到应用

基于秩的回归：从基础到应用

1. 秩基回归简介

在处理包含异常值的现实数据集时，基于秩的估计是最小二乘估计（LSE）的一种稳健替代方法。LSE 在存在异常值的情况下可能会产生误导性结果，而秩估计在处理异常值方面表现出更强的鲁棒性，尤其是在单个异常值具有高影响和高杠杆作用的情况下。

2. 收缩估计与子集选择

2.1 多元线性回归中的秩方法

大多数实际问题都属于多元线性回归的范畴，其矩阵表达式为：
[
\mathbf{y} = \theta\mathbf{1}_n + \mathbf{X}\boldsymbol{\beta} + \boldsymbol{\epsilon}
]
其中，(\mathbf{y}) 是 (n\times1) 的响应向量，(\theta) 是截距，(\mathbf{1}_n = (1, \ldots, 1)^{\top}) 是 (n) 维向量，(\mathbf{X}) 是 (n\times p) 的设计矩阵，(\boldsymbol{\beta}) 是 (p\times1) 的参数向量，(\boldsymbol{\epsilon}) 是 (n\times1) 的误差项。

若假设 (\theta = 0)（即对所有数据列减去各自的均值），则有：
[
\mathbf{y} = \mathbf{X}\boldsymbol{\beta} + \boldsymbol{\epsilon}
]
该方程的最小二乘估计（LSE）有一个优雅的闭式解：
[
\hat{\boldsymbol{\beta}}_{LS}^n = (\math