86、机器学习中的监督学习、集成学习与深度学习

机器学习中的监督学习、集成学习与深度学习

在机器学习领域，监督学习、集成学习和深度学习是几个关键的概念和技术方向，它们各自有着独特的特点和应用场景。下面我们将详细探讨这些内容。

1. 监督学习

监督学习是机器学习中的一个重要分支，其中支持向量机（SVM）是一种常用的监督学习算法。

1.1 支持向量

支持向量是距离分隔平面最近的点，它们位于边界上，满足 $y^{(q)}(w^T x^{(q)} + b) = 1$。决策边界仅由支持向量决定，公式为：
$w = \sum_{q=1}^{N_{sv}} \alpha_q y^{(q)} x^{(q)}$
其中，$N_{sv}$ 是支持向量的数量。可以使用任何支持向量 $k$ 来求解 $b$：
$y^{(k)}(w^T x^{(k)} + b) = 1$
对于新数据的测试，可计算 $w^T x^{(p)} + b = \sum_{q=1}^{k} \alpha_q y^{(q)} x^T (k) x^{(p)}$。若该和为正，则将 $x^{(p)}$ 分类为类别 1；否则分类为类别 2。

交叉验证误差的上界与支持向量的数量有关，公式为：
$E[E_o] \leq \frac{E[\text{支持向量数量}]}{M - 1}$

1.2 非线性变换

当数据在原始空间中无法线性可分时，可以应用非线性函数 $\upsilon$ 将数据从 $X$ 空间映射到另一个希尔伯特空间 $H$：
$\upsilon : R^Q \to H$
$x^{(q)} \to h^{(q)} = \upsilon