【机器学习】 第三章 逻辑回归

目录

一、什么是逻辑回归（logistic regression）

1.1 定义

1.2 算法核心思想

二、逻辑回归的数学原理

2.1逻辑函数--Sigmoid函数

2.2 将线性预测映射为概率值

三、实现逻辑回归

3.1 模型训练

3.1.1 最大似然估计 (Maximum Likelihood Estimation, MLE)

3.1.2 梯度下降优化

3.2 模型评估

四、总结

4.1逻辑回归优点

4.2 逻辑回归局限性

4.3 逻辑回归适用场景

一、什么是逻辑回归（logistic regression）

1.1 定义

逻辑回归是一种经典的统计学习方法，被广泛用于解决二分类问题。

尽管名字中含有"回归"一词，但实际上它是一种分类算法。

用于预测一个二元因变量（即因变量的取值只有两种可能，如“是/否”，“0/1”，“成功/失败”等）与一个或多个自变量之间的关系。

1.2 算法核心思想

逻辑回归模型的核心在于使用逻辑函数（通常是Sigmoid函数）来估计概率，从而将线性回归模型的输出（通常是一个连续值）转换为介于0和1之间的概率值。

二、逻辑回归的数学原理

2.1逻辑函数--Sigmoid函数

其中

• z 是线性回归模型的输出，即 z=w1​x1​+w2​x2​+⋯+wn​xn+b​=

Sigmoid函数具有以下特性：

• 输出范围在  (0, 1)  之间，适合表示概率值
• 当时 
• 当时
• 当z=0时

2.2 将线性预测映射为概率值

在逻辑回归中，我们将线性模型的输出