损失函数：逻辑回归损失函数推导简记

iterate7

于 2019-10-02 23:22:04 发布

阅读量6.3k

点赞数

CC 4.0 BY-SA版权

分类专栏：算法机器学习文章标签： LR 逻辑回归损失函数 logistic regression 最大似然

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.youkuaiyun.com/iterate7/article/details/78992027

这篇博客详细介绍了逻辑回归的损失函数，从假设函数、二分类问题到最大似然估计，最终推导出损失函数J。通过取对数和负值，得到成本函数，便于计算。文中还探讨了参数迭代公式，解释了如何通过梯度下降法更新模型参数，以最小化损失函数。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

这里只推导逻辑回归的损失公式。

假设函数

$h_\theta(x) = \frac{1}{1+e^{-\theta^Tx}} \tag{假设函数}$

用于二分类

$KaTeX parse error: Undefined control sequence: \mbox at position 41: …\theta( x), & \̲m̲b̲o̲x̲{if }y=1 \\ (1-…$

总结：如果我们取对数和负值，可以代表对应的成本函数。和似然函数相反的方向。（log只是利于计算）。
$KaTeX parse error: Undefined control sequence: \mbox at position 56: …theta( x)), & \̲m̲b̲o̲x̲{if }y=1 \\ -lo…$

统一公式

我们找到联合概率公式：
$p(y|x,\theta) = h_\theta( x)^{y} \cdot (1-h_\theta(x))^{1-y}, \tag{统一概率}$

最低0.47元/天解锁文章

200万优质内容无限畅学

评论 2

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。