7、机器学习算法：监督学习与无监督学习深度解析

机器学习算法：监督学习与无监督学习深度解析

监督学习算法

监督学习算法在机器学习中占据着重要地位，其中包括决策树、随机森林和支持向量机（SVM）等典型算法。

随机森林

随机森林由多个决策树组成。其训练集会被随机划分为子集，每个决策树基于自己的训练例子子集构建。在对数据项进行分类时，会对决策树组应用集成学习。决策树的版本因选择属性的标准而异，我们可以选择由相同版本组成的同质随机森林，或者由不同版本组成的异质随机森林。

支持向量机（SVM）

SVM 是一种典型的监督学习算法，它基于将超平面定义为分类边界的线性分类器。其核心思想是将向量映射到另一个空间，并定义具有最大间隔的对偶平行超平面。SVM 的学习过程是优化拉格朗日乘子，而非权重。

• 权重向量和输入向量表示 ：权重向量 $\mathbf{w} = [w_1 w_2 \cdots w_d]$，输入向量 $\mathbf{x} = [x_1 x_2 \cdots x_d]$。从向量 $\mathbf{x}$ 映射得到的向量表示为 $\Phi(\mathbf{x})$。
• 对偶平行超平面方程 ：
  • $\mathbf{w} \cdot \Phi(\mathbf{x}) - b = 1$ (2.23)
  • $\mathbf{w} \cdot \Phi(\mathbf{x}) - b = -1$ (2.24)
• 权重向量范数 ：