21、机器学习算法：从基础到实践

机器学习算法：从基础到实践

1. 堆叠与流行的机器学习算法

堆叠（Staking）是一种集成学习方法，其预测效果优于任何单一的基础机器学习算法。与装袋（Bagging）和提升（Boosting）不同，堆叠可以使用异构的机器学习算法，如决策树、逻辑回归、K近邻等作为基础算法，而装袋和提升只能使用同构算法。

接下来，我们将介绍一些流行的浅层机器学习算法，重点在于提供这些算法的实际应用方法，而非深入探讨其数学原理。

1.1 流行的浅层机器学习算法

• 线性回归（Linear Regression） ：这是最古老的机器学习算法之一，源于统计学。其目标是找出输出与输入特征之间的线性数学关系。在统计学中，常用“普通最小二乘法”及其变体；在机器学习中，则使用“随机梯度下降法（SGD）”。值得注意的是，SGD为大多数现代机器学习算法（包括深度学习算法）提供了动力。
• 逻辑回归（Logistic Regression） ：同样源于统计学，但与名称不同，它并非用于回归，而是用于分类。该算法使用一种称为Sigmoid的数学变换，输出一个实例属于给定类别的概率。数据科学团队通常会为输出的概率值设置一个合适的阈值，以确定实例所属的类别。例如，如果概率 > 0.72，则将其分类为“垃圾邮件”，否则分类为“非垃圾邮件”。
• 决策树（Decision Tree） ：该算法的目标是创建一个流程图来确定预测值。它可用于分类和回归任务。需要注意的是，所有决策树（以及所有基于树的机器学习算法）在插值方面表现出色，但在 ext