12、正则化方法：从半参数到系数基的综合解析

正则化方法：从半参数到系数基的综合解析

1. 半参数正则化基础

在某些情况下，我们可能对即将遇到的解有额外的了解。比如，我们可能知道某个特定的参数分量很可能是解的一部分。利用这些额外知识构建半参数模型是很有必要的，因为它既易于理解（得益于参数部分），又能有较好的性能（通常归功于非参数项）。

常见的做法是先用参数模型拟合数据，然后用参数部分的误差来训练非参数附加项，即把非参数部分拟合到误差上，但这种方法仅在非常有限的情况下有用。一般来说，它不能让我们在给定类别的不同损失函数中找到最佳模型。更好的方法是解决一个凸优化问题，就像标准支持向量机（SVM）那样，但使用不同的可允许函数集：
[f(x) = g(x) + \sum_{i = 1}^{n} \theta_i \varphi_i(x)]
这里 (g \in \mathcal{H})，其中 (\mathcal{H}) 是定理 4.3 中使用的再生核希尔伯特空间。

2. 半参数正则化的优化问题

在 SV 回归的情况下，半参数设置转化为优化问题。使用 (\epsilon) - 不敏感损失函数并引入核函数后，得到以下原始优化问题：
- 原始目标函数
[
\begin{align }
&\text{maximize} \quad \frac{\nu}{2} |w|^2 + \sum_{i = 1}^{m} \xi_i + \xi_i^ \
&\text{subject to} \quad
\begin{cases}
\langle w, \phi(x_i