机器学习——Logistic回归

装进了牛奶箱中

已于 2022-12-04 23:41:05 修改

阅读量1.2k

点赞数

分类专栏：机器学习文章标签：回归逻辑回归

于 2022-12-04 23:29:38 首次发布

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.youkuaiyun.com/m0_54703897/article/details/128173206

版权

目录

一、Logistic基本概念

1.1Logistic回归

1.2Logistic分布

1.3基于Logistic回归和Sigmoid函数的分类

二、基于最优化方法的最佳回归系数确定

2.1极大似然估计

2.2 梯度上升法

2.3梯度下降法

三、利用Logistic模型进行分类测试

3.1数据准备

3.2编写代码查看数据集的分布情况

3.3训练算法：使用梯度上升找到最佳参数

3.4分析数据：画出决策边界

3.5训练算法：随机梯度上升

3.6改进的随机梯度上升算法

四、从疝气病症预测病马的死亡率

4.1准备数据：处理数据中的缺失值

4.2测试算法：用Logistic回归进行分类

5.1Logistic回归的一般过程

一、Logistic基本概念

1.1Logistic回归

Logistic回归（logistic regression）是统计学习中的经典分类方法，属于对数线性模型，所以也被称为对数几率回归。虽然名字有回归，但是实际上却是一种经典的分类方法，其主要思想是：根据现有的数据对分类边界线（Decision Boundary）建立回归公式，以此进行分类。

1.2Logistic分布

Logistic 分布是一种连续型的概率分布，其分布函数和密度函数分别为：

$F(x) = P(X\leqslant x) = \frac{1}{1+e^{-(x-\mu )/\gamma }}$

$f(x) = F'(X\leqslant x) = \frac{e^{-(x-\mu )/\gamma }}{\gamma (1+e^{-(x-\mu )/\gamma })^{2}}$

其中，μ 表示位置参数，γ 为形状参数。我们可以看下逻辑斯蒂分布在不同的 $\亩$ 、 $\伽玛$ 的情况下，其概率密度函数 $p\left( {x;\mu ,\lambda } \right)$ 的图形：

逻辑斯蒂分布在不同的 $\亩$ 、 $\伽玛$ 的情况下，其概率分布函数 $P \ left（{x; \ mu，\ lambda} \ right）$ 的图形：

Logistic 分布是由其位置和尺度参数定义的连续分布。Logistic 分布的形状与正态分布的形状相似，但是 Logistic 分布的尾部更长，所以我们可以使用 Logistic 分布来建模比正态分布具有更长尾部和更高波峰的数据分布。在深度学习中常用到的 Sigmoid 函数就是 Logistic 的分布函数在 $\mu =0,\gamma =1$ 的特殊形式。

1.3基于Logistic回归和Sigmoid函数的分类

我们想要的函数应该是，能接受所有的输入然后预测出类别。例如，在两个类的情况下，上述函数输出0或1。例如海维塞德阶跃函数，或直接称为单位阶跃函数，图像如下：

该函数的问题在于不连续、不可微，该函数在跳跃点上从0瞬间跳跃到1，有时很难处理，而Sigmoid函数也有这样的性质，且数学上更易处理。Sigmoid函数具体的计算公式如下：

$\sigma (z) = \frac{1}{1+e^{-z}}$

下图给出了Sigmoid函数在不同坐标尺度下的两条曲线图。当x为0时，Sigmoid函数值为0.5。随着x的增大，对应的Sigmoid值将逼近于1；而随着x的减小，Sigmoid值将逼近于0。如果横坐标刻度足够大，Sigmoid函数看起来很像一个阶跃函数。

因此，为了实现Logistic回归分类，我们可以在每个特征上都乘以一个回归系数，然后把所有的结果值相加，将这个总和代入Sigmoid函数中，进而得到一个范围在0~1之间的数值。任何大于0.5的数据被分入1类，小于0.5即被归入0类。所以，Logistic回归也可以被看成是一种概率估计。

Sigmoid函数的输入记为z，
$z = w^{T}x + b$
其中向量x是分类器的输入数据，向量w就是我们要找到的最佳系数，b为常数。代入Sigmoid函数中得到:

$y = \frac{1}{1+e^{-(w^{T}x+b)}}$
该预测函数的值表示y=1的概率，所以有y=1和y=0的概率分别为

$p(y =1|x) = \frac{e^{w^{T}x+b}}{1+e^{w^{T}x+b}}$

$p(y=0|x) = \frac{1}{1+e^{w^{T}x+b}}$

通过，我们获得z值，再通过Sigmoid函数把z值映射到0~1之间，获得数值之后就可进行分类。比如定义，大于0.5的分类为1，反之，即分类为0。所以我们要解决的问题就是获得最佳回归系数，即求解w和b得值。

二、基于最优化方法的最佳回归系数确定

2.1极大似然估计

假设：

$p(y=1|x) = \pi (x)$

$p(y=0|x) = 1-\pi (x)$

可以得到似然函数为：

最低0.47元/天解锁文章

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。