Pattern Recognition and Machine Learning 第三章 线性回归模型

标签： 机器学习

---

线性回归模型

线性，即关于参数的线性函数；回归，表示需要预测的量是连续的。建模后可以对任意未知的变量求出目标量，或者是目标的概率分布以表示结果的不确定性。

---

线性基函数模型

$$y(\vec x, \vec w) = w_0 +\sum w_j \phi_j (\vec x)$$ 其中 $\phi_j (\vec x)$为 基函数，参数w中有 $w_0$为 偏置参数。一般目标式关于x都不是线性的，除非令 $\phi_j(x_i)=x_i$（其中的系数可以省去，因为可以放在 $w_j$里）。实际中常令基函数为多项式基函数 1、高斯基函数、sigmoid基函数、傅里叶基函数等。

在求最大似然的参数时可以发现，偏置参数的取值为

$$w_0 = \bar t−\sum^{M−1}_{j=1}w_j\bar ϕ_j$$ 最大似然和最小二乘（平方损失）之间是等价的，都是要使得误差函数 $$E_D(w)={1\over 2}\sum_{n=1}^N\{t_n-w^T\phi(x_n)\}^2$$ 最小。还可以从