第三次作业——autograd与逻辑回归

本文探讨了逻辑回归模型如何应用于二分类问题,通过调整数据集的mean_value和bias,观察模型训练的效果变化。揭示了不同数据分布下逻辑回归的表现,以及bias对数据整体位置的影响。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

1. 逻辑回归模型为什么可以进行二分类?

  • 逻辑回归的表达式为:
    y=f(WX+b)y = f(WX + b)y=f(WX+b)
    f(x)=11+e−xf(x) = \frac{1}{1 + e^{-x}}f(x)=1+ex1
    该函数的作用是将输入的数据映射到0至1之间,恰恰处于概率取值区间,只需要设置一个阈值,输出y就可以用于解决二分类问题。
    在这里插入图片描述

2. 采用代码实现逻辑回归模型的训练,并尝试调整数据生成中的mean_value,将mean_value设置为更小的值,例如1,或者更大的值,例如5,会出现什么情况?再尝试仅调整bias,将bias调为更大或者负数,模型训练过程是怎么样的?

当mean_value=1时,正负样本数据较差较多,采用二分类的逻辑回归模型无法达到很高(99%)的准确度。
在这里插入图片描述
当mean_value=5时,正负样本有非常明显的边界,逻辑回归模型很容易就能将两类样本分开。
在这里插入图片描述
调整bias的大小,数据的整体位置会发生偏移。
bias=-10
在这里插入图片描述
bias=5
在这里插入图片描述
但是当我们继续增加bias的大小时,会发现,无论我们训练多少次,模型也无法将正负样本分开,这是因为随着bias的增大,sigmoid函数在进行反向传播时,梯度接近于0,这时无论迭代多少次,参数都不会更新,这也是为什么需要将数据进行归一化的原因
在这里插入图片描述

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Aidanmomo

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值