86、机器学习中的监督学习、集成学习与深度学习

机器学习中的监督学习、集成学习与深度学习

1. 监督学习

1.1 支持向量

支持向量是距离平面最近的点 (x^{(q)})，它们位于边界上，满足 (y^{(q)}(w^T x^{(k)} + b) = 1)。决策边界仅由支持向量决定，公式如下：
[w = \sum_{q = 1}^{N_{sv}} \alpha_q y^{(q)} x^{(q)}]
其中 (N_{sv}) 是支持向量的数量。我们可以使用任何支持向量 (k) 来求解 (b)：
[y^{(k)}(w^T x^{(k)} + b) = 1]
对于测试新数据，我们可以计算：
[w^T x^{(p)} + b = \sum_{q = 1}^{k} \alpha_q y^{(q)} x^T(k) x^{(p)}]
如果上述求和结果为正，则将 (x^{(p)}) 分类为类别 1；否则分类为类别 2。交叉验证误差的上界与支持向量的数量有关，结果为：
[E[E_o] \leq \frac{E[\text{支持向量的数量}]}{M - 1}]

1.2 非线性变换

我们可以对 (X) 空间中的点应用非线性函数 (\upsilon)，得到：
[\upsilon: \mathbb{R}^Q \to H]
使得 (x^{(q)} \to h^{(q)} = \upsilon(x^{(q)}))，这些点位于替代希尔伯特空间 (H) 中。选择映射函数 (\upsilon(\cdot)) 的自由度允许在映射到高维特征空间后进行有效的向量相似度度量。支持向量机（SVM）可以在特征空间中执行：
[\langle \upsil