9、线性和非线性回归：原理、方法与应用

线性和非线性回归：原理、方法与应用

1. 线性回归基础

线性回归与感知机类似，通过学习权重向量 ( w = [w_0, w_1, \cdots, w_d]^T ) 来计算输入特征 ( x = [x_1, \cdots, x_d]^T ) 的线性组合。不过，线性回归侧重于回归而非分类，其输出是实数 ( o \in R )，因此去掉了符号函数，直接使用线性组合（点积）。

我们可以将线性回归视为为每个点提供一个分数，分数越高的点越有可能属于某个类别，而不是像感知机那样进行二元决策。从公式上看，感知机将线性回归的分数压缩成二元决策，即 ( \text{perceptron}(x; w) = \Theta(\text{linear regression}(x; w)) )。

1.1 平方误差的闭式解

假设我们有训练数据 ( { (x^{(1)}, t^{(1)}), (x^{(2)}, t^{(2)}), \cdots, (x^{(n)}, t^{(n)}) } )，对于给定的权重向量 ( w )，线性回归的输出为：
[
\begin{align }
\text{output}^{(1)}(x^{(1)}; w) &= o^{(1)} = w^T x^{(1)} \
\text{output}^{(2)}(x^{(2)}; w) &= o^{(2)} = w^T x^{(2)} \
&\cdots \
\text{output}^{(n)}(x^{(n)}; w) &= o^{(n)} = w^T x^{(n)}
\end{align }