神经网络与深度学习笔记(三):逻辑回归的损失函数

本文探讨了逻辑回归中代价函数的重要性,解释了为何传统的平方误差不适合作为逻辑回归的代价函数,以及如何通过引入交叉熵损失函数解决这一问题。文章还提到了在统计学中极大似然估计的概念,并将其与逻辑回归的损失函数联系起来。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

以上是之前我们所学习的sigmoid函数以及logistic函数,下面是我们代价函数的普遍定义形式:

虽然普遍形式是有了,当然这个函数也仅仅是对第i个x才成立,如果想要得到连续的x的值则需要不断累加第i个的代价的值。如果想要上面的那种形式来作为代价函数,那么我们得到的代价函数不是凸函数因此不可能进行优化,于是引入了下面的这种形式来进行的,其具体形式是怎样的呢?我们来看看:

代价函数是使用实际的值和拟合的值进行做差。另一个需要提到的点是我们在做逻辑回归的时候,所使用的值都是已经标定好了的值,我们知道每一个点所对应的y的值,也知道没有一个点的x的特征值,因此我们仅需要做的是拟合出一个适合这个x/y的模型即可。下面我们把这个逻辑回归的损失函数写成一个连续的等式:

当然这是为什么?我们可以看看统计学当中的极大似然估计就知道了,但就目前而言我们并不需要详细了解这个过程。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值