逻辑回归案例学习

本文介绍了逻辑回归的基础知识,包括二分类和多分类问题,详细解析了Sigmoid函数及其在逻辑回归模型中的作用。通过代码实现逻辑回归,展示了如何在学生录取预测任务中应用,并探讨了正则化逻辑回归以提高模型的鲁棒性。在训练数据上,逻辑回归模型达到了89%的精确度。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

一、分类问题

二分类

我们先从用蓝色圆形数据定义为类型1,其余数据为类型2;只需要分类1次

步骤:①->②

如图

在这里插入图片描述

多分类

我们先定义其中一类为类型1(正类),其余数据为负类(rest);接下来去掉类型1数据,剩余部分再次进行二分类,分成类型2和负类;如果有n类,那就需要分类n-1次;如图

在这里插入图片描述

二、Sigmoid函数

σ(z)代表一个常用的逻辑函数(logistic function)为S形函数(Sigmoid function)


σ ( z ) = g ( z ) = 1 1 + e − z σ(z)=g(z)=\frac{1}{1+e^-z} σ(z)=g(z)=1+ez1
z=w^Tx+b

合起来,我们得到逻辑回归模型的假设函数
L ( y ^ , y ) = − y l o g ( y ^ ) − ( 1 − y ) l o g ( 1 − y ^ ) L(\widehat{y},y)=-ylog(\widehat{y})-(1-y)log(1-\widehat{y}) L(y ,y)=ylog(y )(1y)log(1y )
在这里插入图片描述

若表达式w0
h ( x ) = z = w 0 + w 1 x 1 + w 2 x 2 + . . . + w n x n + b = w T x + b h(x)=z=w_0+w_1x_1+w_2x_2+...+w_nx_n+b=w^Tx+b h(x)=z=w0+w1x1+w2x2+...+wnxn+b=wTx+b
则b可以融入到w0,即:z=wTx

线性回归的函数h(x)=z=wTx,范围是(-∞,+∞)。

而分类预测结果需要得到[0,1]的概率值

在二分类模型中,事件的几率odds:事件发生于事件不发生的概率之比为 p 1 − p \frac{p}{1-p} 1pp

称为事件的发生比,其中p为随机事件发生的概率,p的范围为[0,1]。取对数得到: l o g p 1 − p log\frac{p}{1-p} log1pp

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值