logistic逻辑回归算法推导

最新推荐文章于 2024-05-12 18:41:45 发布
最新推荐文章于 2024-05-12 18:41:45 发布
阅读量327 收藏 2
点赞数
CC 4.0 BY-SA版权
分类专栏： 机器学习 文章标签： 机器学习算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/SilenceDXY/article/details/88369578
本文深入解析逻辑回归在分类问题中的应用，从线性回归出发，介绍如何通过Sigmoid函数转换预测值为概率，阐述损失函数特性及梯度下降法求解过程。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

逻辑回归：解决分类问题

在线性回归的基础上，通过激活函数sigmod转换为0-1概率值大小。

损失函数 

越靠近0,1，cost越大。

为凸函数，可以通过梯度下降方法求得最小值。函数图如下：

梯度下降法求最低值

函数求导

前半部分的导数

后半部分的导数

相加结果：

求导总结：

 

 

 

 

 

Logistic 回归推导
吴小宝的博客
03-10 2279
Logistic 回归是机器学习中经典的分类方法，常见的二项 Logistic 回归模型是一种二项分类模型，由条件概率分布P(Y|X)P(Y|X)表示，形式为参数化的Logistic 分布。为了更好地理解 Logistic 回归，我们先从线性回归开始说起。 假设有mm个样本点，记为{(x(i),y(i)),i=1,2,3...,m(x^{(i)},y^{(i)}),i=1,2,3...,m}，
《PRML》Logistic回归（逻辑回归，LR）的推导
xuanyuansen的专栏
11-12 9116
《PRML》中Logistic回归（逻辑回归，LR）的推导
logistic回归推导
07-14
logistic回归，不再一头雾水
【机器学习笔记1】Logistic回归总结
897371388
11-13 1969
Logistic回归总结 作者：洞庭之子 微博：洞庭之子-Bing （2013年11月） PDF下载地址：http://download.youkuaiyun.com/detail/lewsn2008/6547463 1.引言 看了Stanford的Andrew Ng老师的机器学习公开课中关于Logistic Regression的讲解，然后又看了《机器学习实战》中的LogisticRegre...
Logistic回归的自己推导
ningyanggege的博客
11-15 369
    这里的导数有问题，需要汇总在所有样本计算得到的导数，如下所示： 为什么不像最小二乘法那样计算出恒等式呢？ 通过对比思维可以发现，唯一不同的是lr回归相对线性回归多了一层非线性映射，即图中的h(x)为sigmoid函数；不存在Normal Equation; 该函数是凸优化的...
逻辑回归算法推导与基于Python的实现详解
03-24
逻辑回归算法推导与基于Python的实现详解 博文中可找到完整的算法推导与代码逐句讲解（在机器学习算法专栏） 逻辑回归（Logistic Regression）是一种用于分类问题的统计学习方法。它基于线性回归的原理，通过将线性...
课时46逻辑回归算法原理推导_逻辑回归_逻辑回归算法_逻辑回归python_python_
10-01
**逻辑回归算法原理推导** 逻辑回归是一种广泛应用的统计学分类方法，它的全名是逻辑函数回归，因为其预测结果是通过一个S型的逻辑函数（sigmoid函数）来实现的。在机器学习领域，逻辑回归常用于二分类问题，比如...
手写逻辑回归算法(Logistic Regression)
weixin_42973210的博客
05-12 2453
逻辑回归算法(Logistic Regression)属于判别式机器学习算法的一种，十分经典。常用来解决二分类问题。简单来说，逻辑回归就是使用sigmoid函数来建立输入特征与输出标签之间的关系。其中，我们假定输入特征xx1​x2​Txi​∈R，输出标签y∈01（二分类问题）。画个图解释就是下面这样：横坐标代表特征x1​，纵坐标代表特征x2​，每一个小点就是一个样本点，蓝色代表标签值y1，橘黄色代表标签值y0。现在我们的任务是生成一个决策线θT。
机器学习—深度学习之基础理论算法原理推导逻辑回归（Logistic Regression）算法原理推导
bigcindy的博客
06-07 1206
1. 概述 逻辑回归（Logistic Regression）是一个经典的二分类算法，并非回归算法。在机器学习实际解决分类问题时，可优先考虑逻辑回归算法。逻辑回归的决策边界可以是非线性的。同时也可用其变形softmax完成多分类任务。 2. 算法推导 2.1 Sigmoid函数 Sigmoid函数公式为： fx=11+e-x#1 其中定义域x∈(-∞, +∞)，值域f(x)为(0,1)。可以看出Sigmoid函数将任意大小的实数输入映射到了(0,1)之间的值，而(0,1)之间的数刚好可当作分
机器学习逻辑回归过程推导
02-20
在众多机器学习方法中，**逻辑回归(Logistic Regression)**是一种广泛应用的统计学模型，它用于解决二分类问题。虽然名字中有“回归”，但逻辑回归实际上是一种分类方法。它基于对数几率函数(logit function)来预测...
logistic回归的数学推导
powder_snow的博客
12-24 5007
logistic回归的数学形式推导。从分类问题引入最简单的二分类，使用logistic回归进行推导。
logistic回归公式推导
jshazhang的专栏
06-05 882
假设函数 h(θ)=11+e−θTXh(θ)=11+e−θTXh(\theta)={1\over{1+e^{-\theta^TX}}} 为什么使用sigmod 代价函数 J(θ)=−1m∑i=1m[yilog(hθ(xi))+(1−yi)log(1−hθ(xi))]J(θ)=−1m∑i=1m[yilog⁡(hθ(xi))+(1−yi)log⁡(1−hθ(xi))]J(\theta)=-{1...
Logistic Regression 的简单推导
01-10 1636
1. LR 的基本假设 LR 模型假设观测值 y 成立的对数几率（log-odds）能够表示为 K 重输入变量的线性组合：
线性回归和 logistic回归算法原理推导
Bridge
08-09 1497
线性回归是机器学习的入门基础。在机器学习中，主要分类两类：回归和分类。而线性回归属于回归，虽然logistics回归名字带有回归，其实这个模型完成的分类任务。简单的理解回归和分类，其实就是回归的输出是一个具体的数值，而回归的输出是一个特定的类别。 线性回归：     （1） 这里的theta 是个矩阵，代表的是样本特征的系数，X代表的是样本的特征。代表的是误差项。这个误差项独立同分布的。服从标...
Logistic Regression——逻辑回归算法推导
Tomxiaodai的博客
08-16 4271
前言 之前学过用线性回归解决分类问题 ,  使用如下的阶跃函数，实现分类功能，但是这样的分类很明显太过粗糙了     令z =  我们希望有一个理想的阶跃函数来帮我们实现z值到0/1值的转化。   而且是单调可微的凸函数->sigmoid function 定义    输出Y=1的对数几率是由输入x的线性函数表示的模型，这就是 逻辑回归模型。是一种广义的线性模型。 所以...
【语义分割】类别不平衡损失函数合集
AI爱好者的博客，分享计算机领域相关知识
03-14 1万+
在语义分割领域，我们会常常遇到类别不平衡的问题。比如要分割的目标（前景）可能只占图像的一小部分，因此负样本的比重很大，导致网络倾向于将所有样本判断为负样本。本文介绍了在数据不平衡时常用的一些损失函数。 类别不平衡会出现什么问题呢？假设我们需要训练一个分类器来对黄豆和绿豆分类，用100颗豆子训练分类器，其中99颗黄豆、1颗绿豆，那么分类器会倾向于把所有豆子都分类为黄豆，因为这么做就可以达到99%的准确率。但是我们不希望分类器这么做，所以需要一些方法来提升分类器的性能。 一、Weighted Cross E
交叉熵损失函数
红豆的博客
09-29 447
一、前提 二分类问题中，真是样本的标签是[0,1]，分别表示正类和负类。 二、交叉熵损失函数的数学原理 我们希望的是概率p(y|x)越大越好。首先，我们对p(y|x)引入log函数，因为log运算并不会影响函数本身的单调性。则有： 我们希望logP(y|x)越大越好，反过来，只要-logP(y|x)越小就行了。那我们就可以引入损失函数，且令Loss = -logP(y|x)即可。则...
逻辑回归(Logistic Regression)原理、过程
m0_56051805的博客
12-18 7828
逻辑回归(Logistic Regression)原理、过程
逻辑回归（Logistic Regression）
热门推荐
tt丫的博客
05-11 9万+
逻辑回归是线性分类器（线性模型）—— 主要用于二分类问题【拓：如何判别一个模型是否为线性模型理论上分辨：线性模型是可以用曲线来拟合样本的，但是分类的决策边界一定是直线的数学表达上分辨：表达式中的系数w乘上自变量x（一个w系数影响一个自变量维度x）】（1）penalty：表示惩罚项（正则化类型）。字符串类型，取值为’l1’ 或者 ‘l2’，默认为’l2’。l1：向量中各元素绝对值的和，作用是产生少量的特征，而其他特征都是0，常用于特征选择；
逻辑回归算法的推导
最新发布
08-13
逻辑回归是一种广泛应用于二分类问题的统计模型，其核心思想是通过将线性回归的输出映射到一个概率值，从而预测某个样本属于某一类的概率。其数学推导主要包括以下几个关键部分： ### 1. 模型假设与Sigmoid函数 逻辑回归的基本假设是：给定输入特征向量 $ x $，输出的类别标签 $ y \in \{0,1\} $ 的概率可以通过以下函数建模： $$ P(y=1|x;w) = h_w(x) = \frac{1}{1 + e^{-w^T x}} $$ 该函数称为 **Sigmoid函数**，其输出范围在 $ (0,1) $ 之间，表示样本属于正类的概率。类似地，样本属于负类的概率为： $$ P(y=0|x;w) = 1 - h_w(x) $$ 因此，可以将两个类别的概率统一表示为： $$ P(y|x;w) = h_w(x)^y (1 - h_w(x))^{1-y} $$ [^5] ### 2. 似然函数与对数似然函数 对于一个训练集 $ \{(x^{(1)}, y^{(1)}), (x^{(2)}, y^{(2)}), \dots, (x^{(n)}, y^{(n)})\} $，其联合概率（即似然函数）为： $$ L(w) = \prod_{i=1}^{n} P(y^{(i)}|x^{(i)};w) = \prod_{i=1}^{n} h_w(x^{(i)})^{y^{(i)}} (1 - h_w(x^{(i)}))^{1 - y^{(i)}} $$ 为了简化计算，通常取对数似然函数： $$ \ell(w) = \log L(w) = \sum_{i=1}^{n} \left[ y^{(i)} \log h_w(x^{(i)}) + (1 - y^{(i)}) \log (1 - h_w(x^{(i)})) \right] $$ [^2] ### 3. 目标函数与优化 逻辑回归的目标是最大化对数似然函数 $ \ell(w) $，等价于最小化负对数似然函数： $$ J(w) = -\frac{1}{n} \sum_{i=1}^{n} \left[ y^{(i)} \log h_w(x^{(i)}) + (1 - y^{(i)}) \log (1 - h_w(x^{(i)})) \right] $$ 这个函数即为逻辑回归的 **代价函数**（cost function）。由于该函数是凸函数，因此可以通过梯度下降法或其他优化方法求解最优参数 $ w $。 ### 4. 梯度下降法求解 梯度下降法的核心是计算代价函数对参数 $ w $ 的偏导数，并沿负梯度方向更新参数。代价函数的梯度为： $$ \nabla_w J(w) = \frac{1}{n} \sum_{i=1}^{n} \left( h_w(x^{(i)}) - y^{(i)} \right) x^{(i)} $$ 参数更新公式为： $$ w := w - \alpha \nabla_w J(w) $$ 其中 $ \alpha $ 是学习率，控制每次更新的步长。 ### 5. 向量化实现 为了提高计算效率，通常采用向量化实现。设输入矩阵为 $ X \in \mathbb{R}^{n \times d} $，标签向量为 $ y \in \mathbb{R}^n $，参数向量为 $ w \in \mathbb{R}^d $，则预测值向量为： $$ h = \sigma(Xw) $$ 其中 $ \sigma(\cdot) $ 是Sigmoid函数。代价函数可表示为： $$ J(w) = -\frac{1}{n} \left[ y^T \log h + (1 - y)^T \log (1 - h) \right] $$ 梯度为： $$ \nabla_w J(w) = \frac{1}{n} X^T (h - y) $$ [^1] ### 6. Python代码实现示例 以下是一个简单的逻辑回归梯度下降实现： ```python import numpy as np def sigmoid(z): return 1 / (1 + np.exp(-z)) def logistic_regression(X, y, learning_rate=0.01, num_iters=1000): n, d = X.shape w = np.zeros(d) losses = [] for i in range(num_iters): h = sigmoid(X @ w) loss = -np.mean(y * np.log(h) + (1 - y) * np.log(1 - h)) losses.append(loss) gradient = (1 / n) * X.T @ (h - y) w -= learning_rate * gradient return w, losses ``` ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值