Python28 十大机器学习算法之线性回归和逻辑回归

1.三类广义上的机器学习算法

· 监督学习。工作原理：该算法由一个目标/结果变量（或因变量）组成，该变量将从一组给定的预测变量（自变量）进行预测。使用这组变量，我们生成了一个将输入数据映射到所需输出的函数。训练过程将继续进行，直到模型在训练数据上达到所需的准确性水平。监督学习的例子：回归、决策树、随机森林、KNN、逻辑回归等。

·无监督学习。工作原理：在这个算法中，我们没有任何目标或结果变量来预测/估计（这称为未标记数据）。它用于推荐系统或对不同组中的种群进行聚类。聚类算法广泛用于将客户细分为不同的组以进行特定的干预。无监督学习的例子有：Apriori算法，K-means聚类。

·强化学习。工作原理：使用此算法，可以训练智能体做出特定的决策。智能体暴露在一个环境中，它通过反复试验不断地训练自己。智能体从过去的经验中学习，并试图获取最好的知识来做出准确的业务决策。加强学习示例：马尔可夫决策过程。

2.常用的机器学习算法

以下是常用的机器学习算法，这些算法几乎可以应用于任何数据问题：

1. 线性回归

2. 逻辑回归

3. 决策树

4. 支持向量机

5. 朴素贝叶斯

6. kNN

7. K-均值

8. 随机森林

9. 降维算法

10. 梯度提升算法

    • GBM

    • XGBoost

    • LightGBM

    • CatBoost

3.十大机器学习算法

1.线性回归

线性回归指的是根据连续变量估计实际值（房屋成本、通话次数、总销售额等）。在这里，我们通过拟合最佳拟合线来建立自变量和因变量之间的关系。这条最佳拟合线称为回归线，由线性方程 Y= a*X + b 表示。

示例1：理解线性回归的最好方法是重温童年的这种经历。假设你让一个五年级的孩子通过增加体重顺序来安排他班上的人而不问他们的体重。你认为孩子会怎么做？他可能会观察（视觉分析）人的身高和体型，并使用这些可见参数的组合来安排他们。这是现实生活中的线性回归。孩子实际上已经弄清楚身高和身材会通过关系与体重相关，这看起来像上面的等式。

在此等式中：

• Y – 因变量

• a – 斜率

• X – 自变量

• b – 偏置(截距)

这些系数 a 和 b 是基于最小化数据点与回归线之间距离的平方差之和得出的。

示例2：下面我们确定了线性方程 y=0.2811x+13.9 的最佳拟合线。现在使用这个等式，我们知道一个人的身高就可以找到对应的体重。

线性回归主要有两种类型：简单线性回归和多元线性回归。简单线性回归的特征是一个自变量。多元线性回归（顾名思义）的特征是多个（超过 1 个）自变量。