机器学习之logistic回归

本文介绍了logistic回归与线性回归的区别,强调logistic回归在分类问题中的重要性,特别是在数据挖掘和疾病诊断中的应用。内容涵盖了logistic回归的模型特性、与线性回归的关系、sigmoid函数及其在概率分布中的意义,以及参数估计方法,如极大似然估计。同时,讨论了logistic回归的损失函数和梯度下降法在模型优化中的作用,并提到了softmax回归作为logistic回归在多分类问题上的扩展。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

logistic回归又称logistic回归分析,是一种广义的线性回归分析模型,它解决的是分类问题,常用于数据挖掘,疾病自动诊断,经济预测等领域。
1.logistic回归和线性回归的区别
logistic回归和线性回归的区别在于以下几点:
1)线性回归要求变量服从正态分布,logistic回归对变量分布没有要求。
2)线性回归要求因变量是连续性数值变量,而logistic回归要求因变量是分类型变量。
3)线性回归要求自变量和因变量呈线性关系,而logistic回归不要求自变量和因变量呈线性关系
4)logistic回归是分析因变量取某个值的概率与自变量的关系,而线性回归是直接分析因变量与自变量的关系
2. 区分logistic回归与线性回归
实际上,logistic回归与线性回归实际上有很多相同之处,最大的区别就在于他们的因变量不同,其他的基本都差不多,正是因为如此,这两种回归可以归于同一个家族,即广义线性模型(generalized linear model)。这一家族中的模型形式基本上都差不多,不同的就是因变量不同,如果是连续的,就是多重线性回归,如果是二项分布,就是logistic回归。logistic回归的因变量可以是二分类的,也可以是多分类的,但是二分类的更为常用,也更加容易解释。所以实际中最为常用的就是二分类的logistic回归。
3. softmax回归、logistic回归以及线性回归的关系
那么softmax回归、logistic回归以及线性回归他们三者是什么关系呢?logistic回归,Softmax回归以及线性回归都是基于线性模型。其实Softmax 就是logistic的推广,logistic一般用于二分类,而softmax是多分类。逻辑回归的激活函数是sigmoid函数,可理解成一个被sigmoid函数归一化后的线性回归,sigmoid函数把实数映射到了[0,1]区间。logistic回归可以通过推广到softmax回归来解决多分类问题。
4. logistic/sigmoid函数
下面接着谈谈sigmoid函数,logistic函数

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值