19、核函数、反向传播与正则化交叉验证

核函数、反向传播与正则化交叉验证

在机器学习领域，核函数、反向传播算法等都是非常重要的概念和工具。下面将详细介绍核函数相关知识以及反向传播算法的具体内容。

1. 线性代数基本定理

在深入探讨核化的概念之前，有必要先回顾线性代数基本定理。假设有一组 $M$ 维向量 ${f_p} {p = 1}^{P}$，它们张成一个维度为 $P$（$P \leq M$）的子空间。在这个子空间中的任意向量 $w$ 都可以表示为这些向量的线性组合：
[w = \sum {p = 1}^{P} f_p z_p]
将向量 $f_p$ 按列堆叠成一个 $M \times P$ 的矩阵 $F$，将 $z_p$ 组合成一个 $P \times 1$ 的向量 $z$，则上述关系可以更简洁地表示为：
[w = Fz]
任何向量 $w \in R^M$ 都可以分解为两部分：一部分属于矩阵 $F$ 的列向量所张成的子空间，另一部分与该子空间正交。形式上可写为：
[w = Fz + r]
其中 $r$ 与 $F$ 的列向量张成的空间正交，即 $F^T r = 0_{P \times 1}$。这个简单的定理是更有效地表示固定基特征的关键。

2. 固定特征核函数

2.1 核化代价函数

假设有一个包含 $P$ 个点的数据集 ${(x_p, y_p)} {p = 1}^{P}$，每个输入 $x_p$ 的维度为 $N$。在使用固定特征基时，通常通过最小化最小二乘回归代价来学习合适的参数：
[g(b, w) = \sum {p = 1}^{P} (b + f_p^T w -