6、基于秩的回归与惩罚估计方法详解

基于秩的回归与惩罚估计方法详解

1. 基于秩的回归问题探讨

在数据分析和建模中，我们常常会遇到构建线性模型的需求。下面将详细介绍几个相关的问题及解决方法。

1.1 Theil 估计器的计算复杂度

我们要为 $y_i = \theta + \beta x_i$（$i = 1, \ldots, 100$）构建一个简单的线性模型，使用 Theil 估计器。Theil 估计器需要计算所有点对斜率的中位数 $\hat{\beta} {Theil}^n = median {1\leq i<j\leq n, i\neq j}(\frac{y_j - y_i}{x_j - x_i})$，以及部分残差的中位数 $\hat{\theta} {Theil}^n = median {1\leq i\leq n}(y_i - \hat{\beta} {Theil}^n x_i)$。
当 $n = 100$ 时，计算 $\hat{\beta} {Theil}^n$ 需要的斜率计算次数为 $C_{100}^2=\frac{100\times(100 - 1)}{2}=4950$ 次，而计算 $\hat{\theta} {Theil}^n$ 需要 $n = 100$ 次。从计算复杂度来看，计算 $\hat{\beta} {Theil}^n$ 是 $O(n^2)$，计算 $\hat{\theta}_{Theil}^n$ 是 $O(n)$。

1.2 小数据集的线性模型分析

考虑以下小数据集：
| $x_i$ | 0.10 | 0.20 | 0.30 | 0