逻辑回归（Logistic Regression，LR）

yayakoko

已于 2024-07-19 17:22:55 修改

阅读量401

点赞数 3

分类专栏： PyTorch - Deep Learning 文章标签：逻辑回归算法机器学习

于 2024-07-18 17:30:53 首次发布

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.youkuaiyun.com/yayakoko/article/details/140524030

版权

PyTorch - Deep Learning 专栏收录该内容

3 篇文章

订阅专栏

分类和回归是机器学习的两个主要问题。

分类处理的是离散数据
回归处理的是连续数据

线性回归：回归

拟合一条线
预测函数： $y = W^{T}*x+b$

逻辑回归：分类——找到一条线可以将不同类别区分开

虽然称为逻辑回归，但是实际是一种分类学习方法。是用逻辑函数将线性回归的结果映射到（0,1）值。
逻辑函数 $\sigma = \frac{1}{1+e^{-x}}$
预测函数： $y = \sigma (W^{T}*x+b)$

逻辑回归中的参数：求解

由极大似然函数，估计得出目前结果的最大可能性。

$p(Y=1|x) = \frac{1}{1+e^{-x}}=g_{\theta }(x)$

$p(Y=0|x) = 1-\frac{1}{1+e^{-x}} =\frac{1}{1+e^{x}}=1-g_{\theta }(x)$

所以对于一个样本（x，y），他的标签y的概率可以定义为：

$p(y|x,\theta ) = (g_{\theta }(x)))^{y}(1-g_{\theta }(x))^{1-y}$

当有m也样本时：

$L(\theta ) =\prod_{i=1}^{m} p(y_{i}|x_{i},\theta ) = \sum_{i=1}^{m}(g_{\theta }(x_{i})))^{y_{i}}(1-g_{\theta }(x_{i}))^{1-y_{i}}$

其中 $\theta$ 为需要求的参数。

怎样求解，不改变函数单调性的对数函数，可以把乘法变为加法，得到对数似然函数。所以可以用对数似然函数构造损失函数，然后采用梯度下降法求解。

未完

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。