81、核方法：对偶表示与核函数构建

核方法：对偶表示与核函数构建

1. 对偶表示

许多用于回归和分类的线性模型可以用对偶表示来重新表述，在这种表示中，核函数自然出现。下面我们考虑一个线性回归模型，其参数通过最小化一个正则化的平方和误差函数来确定。

1.1 线性回归模型的目标函数

正则化的平方和误差函数为：
[J(w) = \frac{1}{2} \sum_{n=1}^{N} { w^T \varphi(x_n) - t_n }^2 + \frac{\lambda}{2} w^T w]
其中，(\lambda \geq 0)。

1.2 求解参数 (w)

将 (J(w)) 关于 (w) 的梯度设为零，可得 (w) 的解为：
[w = -\frac{1}{\lambda} \sum_{n=1}^{N} { w^T \varphi(x_n) - t_n } \varphi(x_n) = \sum_{n=1}^{N} a_n \varphi(x_n) = \Phi^T a]
其中，(\Phi) 是设计矩阵，其第 (n) 行由 (\varphi(x_n)^T) 给出；向量 (a = (a_1, \ldots, a_N)^T)，且 (a_n = -\frac{1}{\lambda} { w^T \varphi(x_n) - t_n })。

1.3 对偶表示的推导

将 (w = \Phi^T a) 代入 (J(w))，得到：
[J(a) = \frac{1}{2} a^T \Phi \Phi^T \Phi \Phi^T a - a^T \Phi \Phi^T t + \frac{1}{2}