31、半线性方法介绍

半线性方法介绍

1. 半线性方法概述

在估计回归函数时，有两种不同的方法：
- 非参数方法，如 k 近邻法（k - Nearest Neighbors），优点是无需模型假设，具有广泛的适用性。
- 参数模型，如果与实际情况较为接近，则更强大，通常能对 μ(t) 给出更准确的估计。

而半线性方法试图结合两者的优点，它仍然是无模型的，但以各种方式利用了线性特性，因此有可能比之前的无增强无模型方法更准确。以下是几种半线性方法的概述：
- 局部线性化的 k - NN ：不使用给定点 t 邻域内 Y 的平均值来估计 μ(t)，而是对邻域拟合线性回归模型，并使用该模型预测 t 处的 Y 值。其思路是在 t 附近，μ(t1, …, tp) 在每个 tj 上应该是单调的，实际上在这些变量上近似线性。
- 支持向量机（Support Vector Machines，SVMs） ：以两类分类问题为例，考虑预测空间中两类之间的边界。在逻辑模型下，这个边界是线性的。SVM 放弃了 μ(t) 的逻辑形式假设，但保留了边界是线性的假设。
- 神经网络（Neural networks） ：同样基于将类分离超曲面建模为线性的思想，并且输入变量要经过非线性变换。不同之处在于它要经过一系列阶段，在这些阶段中，新变量由旧变量以这种方式形成。

后两种方法主要用于分类场景，不过也可用于回归。这些方法背后的基本思想是，通过利用单调性等特性，它们“应该”比普通的 k - NN 或随机森林效果更好，但不能完全依赖这一点。

2. k - NN 线