机器学习之逻辑回归

理解机器学习：逻辑回归详解

最新推荐文章于 2023-04-25 23:27:23 发布

原创

最新推荐文章于 2023-04-25 23:27:23 发布 · 337 阅读

·

0

·

CC 4.0 BY-SA版权

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文深入探讨了逻辑回归的原理，包括Sigmoid函数、损失函数及其优化、正则化（L1和L2）以及评估指标如AUC值。还介绍了sklearn中LogisticRegression的参数设置，并分析了其优缺点。

逻辑回归的原理

函数输出为0或者1的函数，成为海维赛德阶跃函数，函数在跳跃点从0瞬间到1，跳跃过程很难处理。因此需要另一种函数（具有相似性质）这个函数为Sigmoid函数，公式如下：

$h(z) = \frac{1}{1+e^{-z}}$

当z大于0时，函数h(z）接近1，当z等于0时，函数h(z）为0.5，当z小于0 时，函数h（z)j接近0。

逻辑回归损失函数的推倒和优化

$P(y=1|x;\theta) = h_\theta (x) \\ P(y=0|x;\theta) = 1-h_\theta (x)$
写出一般式为：

$P(y|x;\theta)= h(x)^y (1-h(x))^{(1-y)}$

极大似然函数为：

$L(\theta) = \prod^{m}_{i=1}h_\theta (x^{(i)})^{y^{(i)}} (1-h_\theta (x^{(i)})^{(1-y^{(i)})}$

对数极大似然函数为

$l(\theta) = log L(\theta) = \sum^{m}_{i=1} y^{(i)}log h_\theta (x^{(i)}) + (1-y^{(i)})log (1-h_\theta (x^{(i)}))$

损失函数为：

$J(\theta) = -\frac{1}{m}l(\theta) = -\frac{1}{m}\sum^{m}_{i=1} y^{(i)}h_\theta (x^{(i)}) + (1-y^{(i)})(1-h_\theta (x^{(i)}))$

损失函数表示了预测值和真实值之间的差异程度，预测值和真实值越接近，则损失函数越小。

梯度下降法求解：

最低0.47元/天解锁文章

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。