6、常见监督学习模型介绍

常见监督学习模型介绍

1. 逻辑回归（Logistic Regression）

逻辑回归是一种广泛用于分类的算法。其模型源于对输出类别的概率进行建模的需求，要求输入的线性函数输出的概率值在 0 到 1 之间，且所有输出概率之和为 1。

1.1 原理

如果使用线性回归模型处理 Y = 0 或 1 的数据，可能会得到小于 0 或大于 1 的概率预测值，这显然不合理。因此，逻辑回归通过应用 sigmoid 函数，确保输出概率在 0 到 1 之间。逻辑回归方程如下：
[y = \frac{\exp(\beta_0 + \beta_1x_1 + \cdots + \beta_ix_i)}{1 + \exp(\beta_0 + \beta_1x_1 + \cdots + \beta_ix_i)}]
其中，y 是预测输出，(\beta_0) 是偏置或截距项，(\beta_1) 是单个输入值（x）的系数。输入数据的每一列都有一个相关的 (\beta) 系数，这些系数需要从训练数据中学习得到。

在逻辑回归中，成本函数衡量了预测值与真实值的差异，通常使用最大似然估计（MLE）等技术来训练系数，使默认类别的预测值接近 1，其他类别的预测值接近 0。

1.2 代码实现

使用 Python 的 sklearn 包可以轻松构建逻辑回归模型：

from sklearn.linear_model import LogisticRegression
model = LogisticRegression()
model.fit(X, Y)