【ML】逻辑回归、生成式与判别式引出 3

逻辑回归（Logistic Regression）是一种广泛使用的统计方法，用于处理二分类问题。尽管它的名字中包含“回归”二字，但逻辑回归实际上是一种分类算法。它通过使用逻辑函数（通常是Sigmoid函数）来估计概率，从而进行分类决策。

1. 逻辑回归的基本原理：

1. Sigmoid函数：

   • 逻辑回归使用Sigmoid函数将线性回归模型的输出映射到0和1之间，这个值可以被解释为属于某个类别的概率。
   • Sigmoid函数的公式为：σ(z) = 1 / (1 + e^(-z))，其中z是线性回归的输出，即z = w_1 * x_1 + w_2 * x_2 + ... + w_n * x_n + b。

2. 概率估计：

   • 给定输入特征x，逻辑回归模型估计正类（通常表示为1）的概率p，即p = σ(z)。

3. 决策边界：

   • 逻辑回归通过设置一个阈值（通常是0.5）来决定分类的决策边界。如果预测概率大于阈值，则分类为正类；否则，分类为负类。

4. 损失函数：

   • 逻辑回归使用对数损失（Log Loss）或交叉熵损失作为损失函数，用于衡量模型预测概率与实际标签之间的差异。
   • 对数损失函数的公式为：L = - [y * log(p) + (1 - y) * log(1 - p)]，其中y是实际标签。

5. 参数估计