31、机器学习分类器与激活函数详解

机器学习分类器与激活函数详解

1. 随机森林

随机森林是决策树的推广，它是一种涉及多棵树的分类算法（树的数量由用户指定）。如果数据用于数值预测，会计算所有树预测值的平均值；如果是分类预测，则确定所有树预测结果的众数。

可以将随机森林的工作方式类比为金融投资组合的多元化，目的是用高收益平衡损失。它采用“多数表决”进行预测，基于多数表决比单棵树的单个预测更可能正确的假设。因此，当基于决策树的模型无法达到所需的精度时，随机森林是一个不错的选择。

若要修改代码使用随机森林，可将相关代码替换为：

from sklearn.ensemble import RandomForestClassifier
classifier = RandomForestClassifier(n_estimators = 10, 
criterion='entropy', random_state = 0)

修改代码后运行，并检查混淆矩阵，以与之前决策树模型的准确性进行比较。

2. 支持向量机（SVM）

支持向量机是一种有监督的机器学习算法，可用于分类或回归问题。它既能处理线性可分的数据，也能处理非线性可分的数据。SVM 使用“核技巧”转换数据，在更高维度上找到最优边界，从而将转换后的数据分离，进而找到一个超平面将数据分为两类。

SVM 在分类任务中比回归任务更常见，其应用场景包括：
- 文本分类任务：类别分配
- 垃圾邮件检测/情感分析
- 图像识别：基于方面的识别、基于颜色的分类
- 手写