机器学习-逻辑回归模型公式推导

机器学习基础(二)逻辑回归 机器学习—— 逻辑回归(Logistic regression) 本文主要是对 《机器学习》中的逻辑回归做一个简单的公式推导以及编码实现。该内容只涉及公式的推导,并不具体阐述公式含义。具体视频可以参考 吴恩达老师讲解的机器学习的逻辑回归。 1. 符号和定义 样本矩阵 X=[x1,x2,⋯ ,xn]T∈Rn×dX = [x_1,x_2,\cdots,x_n]^T \in R^{ n\times d}X=[x1​,x2​,⋯,xn​]T∈Rn×d , xix_ixi​ 表示第 i 个样本。 标签矩阵 Y 阅读详情

LR介绍

Logistic Regression 是一种非线性的回归模型,同时也可以使用逻辑回归模型来作分类任务。

Logistic Regression回归模型使用的Sigmoid函数作为假设模型。

hθ(x)=11+e−x h θ ( x ) = 1 1 + e − x

其中 x=∑niθifi,i=1,2...n x = ∑ i n θ i f i , i = 1 , 2 . . . n
n n 表示x这个样本共有 n n 维的特征,fi表示 x x 这个样本的第i个特征, θi θ i 表示 x x 这个样本第i个特征的权重。而逻辑回归模型的训练过程就是学习这个 θ θ ,训练完成后的逻辑回归模型就可以用来给样本分类。
Sigmoid函数是长成这样的。
这里写图片描述
思考题1:为什么逻辑回归的假设模型使用的是Sigmoid函数?

公式推导:

由于逻辑回归服从伯努利分布。所以对于二分类问题来说。
hθ(x) h θ ( x ) 表示类别为1的情况。那么类别为0的情况就是 1−hθ(x) 1 − h θ ( x )
那么输入 x x 判断类别为1的概率为P(y=1|x;θ)=hθ(x),判断类别为0的概率为 P(y=0|x;θ)=1−hθ(x) P ( y = 0 | x ; θ ) = 1 − h θ ( x )
综合在一起就是

$P(y|x;θ)=hθ(x)y+(1−hθ(x))1−y $ P ( y | x ; θ ) = h θ ( x ) y + ( 1 − h θ ( x ) ) 1 − y

接下来为了能够使用梯度下降的方法来training θ θ 这个值,所以需要设置损失函数。
通常分类问题的损失函数是误差平方和(MSE)但是,我们会发现这时候的代价函数是非凸的,也就是函数图像中会出现许多的局部最小值,导致梯度下降法极其容易得到局部最小值。
如下图所示:
这里写图片描述
为了能够得到一个凸函数,所以需要修改loss function来获得一个优化的凸函数。
Loss function
Loss(hθ(x),yi)=log(P(yi|x;θ))=−[log(hθ(x))⋅yi+log(1−hθ(x))⋅(1−yi)] L o s s ( h θ ( x ) , y i ) = l o g ( P ( y i | x ; θ ) ) = − [ l o g ( h θ ( x ) ) ⋅ y i + l o g ( 1 − h θ ( x ) ) ⋅ ( 1 − y i ) ]

而函数整体的损失就是(共有m个样本参与训练)
J(θ)=−1m∑im[log(hθ(x))⋅yi+log(1−hθ(x))⋅(1−yi)] J ( θ ) = − 1 m ∑ i m [ l o g ( h θ ( x ) ) ⋅ y i + l o g ( 1 − h θ ( x ) ) ⋅ ( 1 − y i ) ]

LR的梯度下降公式推导

由于新设置的Loss function是非凸的,所以我们可以使用梯度下降发的方法来求出当Loss funciton最小时的 θ θ 向量。梯度下降法的迭代公式是

θj=θj−α∂∂θJ(θ) θ j = θ j − α ∂ ∂ θ J ( θ )

其中 α α 是learning rate学习率。

接下来是公式推导:

−1m∂∂θ[log(h)⋅y+log(1−h)⋅(1−y)] − 1 m ∂ ∂ θ [ l o g ( h ) ⋅ y + l o g ( 1 − h ) ⋅ ( 1 − y ) ]
=−1m[1h⋅h′⋅y+1(1−h)⋅(−h′)⋅(1−y)] = − 1 m [ 1 h ⋅ h ′ ⋅ y + 1 ( 1 − h ) ⋅ ( − h ′ ) ⋅ ( 1 − y ) ]
由于 hθ(x)=11+e−θTX h θ ( x ) = 1 1 + e − θ T X ,所以 h′=−h2⋅e−θTX⋅(−X),将h′代入 h ′ = − h 2 ⋅ e − θ T X ⋅ ( − X ) , 将 h ′ 代 入
=−1m[1h⋅(h2⋅e−θTX⋅X)⋅y+1(1−h)⋅(h2⋅e−θTX⋅(−X))⋅(1−y)] = − 1 m [ 1 h ⋅ ( h 2 ⋅ e − θ T X ⋅ X ) ⋅ y + 1 ( 1 − h ) ⋅ ( h 2 ⋅ e − θ T X ⋅ ( − X ) ) ⋅ ( 1 − y ) ]
又由于 e−θTX=1h−1=1−hh e − θ T X = 1 h − 1 = 1 − h h , 代入可得
=−1m[⋅(h⋅1−hh⋅X)⋅y+1(1−h)⋅(h2⋅1−hh⋅(−X))⋅(1−y)] = − 1 m [ ⋅ ( h ⋅ 1 − h h ⋅ X ) ⋅ y + 1 ( 1 − h ) ⋅ ( h 2 ⋅ 1 − h h ⋅ ( − X ) ) ⋅ ( 1 − y ) ]
=−1m[1h⋅(1−h)⋅X⋅y−h⋅X⋅(1−y)] = − 1 m [ 1 h ⋅ ( 1 − h ) ⋅ X ⋅ y − h ⋅ X ⋅ ( 1 − y ) ]
=−1m(y−h)X = − 1 m ( y − h ) X
=1m(h−y)X = 1 m ( h − y ) X
=∑mi=1(hθ(x(i))−y(i))x(i)j = ∑ i = 1 m ( h θ ( x ( i ) ) − y ( i ) ) x j ( i )

所以更新 θ θ 的公式变化为下面这种情况

θj=θj−α∑i=1m(hθ(x(i))−y(i))x(i)j θ j = θ j − α ∑ i = 1 m ( h θ ( x ( i ) ) − y ( i ) ) x j ( i )

这样就完成了相关的推导。

思考题解答

1.这里可以去查看 最大熵模型。逻辑回归模型是最大熵模型的一个特例,并且在给定条件下求熵最大的分布就是Sigmoid函数。
同时伯努利的指数族形式就是 11+e−x 1 1 + e − x

参考

Stanford机器学习课程笔记——LR的公式推导和过拟合问题解决方案
为什么 LR 模型要使用 sigmoid 函数,背后的数学原理是什么?-知乎

《Python机器学习基础教程》第二章监督学习2.8 深度解析:线性模型入门——从线性回归到逻辑回归的全面指南 fill:#333;color:#333;color:#333;fill:none;2.8 线性模型入门2.8.1 线性回归原理2.8.2 线性回归公式推导2.8.3 逻辑回归原理2.8.4 逻辑回归公式推导2.8.5 线性回归实战示例2.8.6 逻辑回归实战示例2.8.7 线性模型在实际问题中的应用。 阅读详情

相关推荐

机器学习100天(十七):017 逻辑回归梯度下降

在讲解了逻辑回归的基本原理和损失函数之后,我们来推导逻辑回归模型中参数 w 和 b 的梯度表达式。现在,我们已经完全掌握了逻辑回归中参数的梯度下降更新公式是如何推导出来的了。机器学习 100 天,今天讲的是:逻辑回归-梯度下降!然后,根据这两个公式,我们就可以很容易计算得到。的偏导数带入到梯度下降算法公式中,就能得到。首先,我们根据上面三个式子,分别计算。经过 sigmoid 函数,好了,今天的内容到此结束!

红色石头的专栏 851

机器学习随记(10)——逻辑回归全方位推导

逻辑回归是一个非线性模型,但是是其背后是以线性回归为理论支撑的。线性模型的表达形式可由下式简化为y的输出范围没有任何限制,即 (−∞,+∞)。而作为一个分类器,我们需要输出的是位于 0 和 1 之间的合法概率值。将“概率”转换为“分类”的工具是“阶梯函数”即转为发生y=1和发生y=0的概率为但是,阶梯函数是不连续的,不可导。因此,使用对数几率函数来在一定程度上近似阶梯函数,将线性回归模型的预测值转化为分类所对应的概率。从另一个角度解释为什么选择的是对数几率函数。

YoungITの博客 1643

一切皆是映射:经典AI算法解析:从逻辑回归到SVM

逻辑回归,支持向量机,机器学习,分类算法,回归分析,线性模型,非线性模型 1. 背景介绍 在当今数据爆炸的时代,机器学习作为人工智能的核心技术,在各个领域发挥着越来越重要的作用。从医疗诊断到金融预测,从图像识别到自然语言处理,机器学习算法帮助我们从海量数据中提取有价值的信息,并做出更

AI架构师小马 926

逻辑回归原理详解(附手写推导)

目录 一、逻辑推导 二、手写推算逻辑回归运算步骤 1、梯度下降法 2、最大似然估计法 三、用梯度下降法求损失函数最小值 四、代码部分 一、逻辑推导 因部分内容与作者之前所发布的文章有所重复,故只对新的知识或重复部分中较为重点的内容进行讲解。 逻辑回归通常用于解决分类问题,比如:客户是否该买某个商品,借款人是否会违约等。实际上,“分类”是逻辑回归的目的和结果,中间过程依旧是“回归”,因为通过逻辑回归模型,我们得到的是0-1之间的连续数字,即概率,类似...

邓胖胖的博客 5036

机器学习 原理与代码实例讲解

机器学习 原理与代码实例讲解 关键词:机器学习、算法原理、代码实现、深度学习、监督学习、无监督学习、分类、回归 1. 背景介绍 机器学习作为人工智能领域的核心技术之一,近年来发展迅速,并在各个领域取得了令人瞩目的成就。从语音识

欢迎来到我的优快云空间!这里聚焦AI大模型应用实战,分享前沿技术、实战案例与开发经验。 720

# 执行 DISM 命令时出错 87 未在此上下文中识别出 restorehealth 选项。解决方法

# 执行 DISM 命令时出错 87 未在此上下文中识别出 restorehealth 选项。解决方法

段子手168的博客 1万+

逻辑回归的推导和理解(公式清晰)

前言 Logistic Regression 虽然被称为回归,但其实际上是分类模型,并常用于二分类。LR也是面试时常需要手撕的模型,本文从各种角度推导了LR的相关公式,希望对大家有帮助(未完待续)。 模型建立推导 由线性回归的定义式出发,hθ(x)h_{\theta}(x)hθ​(x)是预测值: hθ(x)=∑i=0nθixi=θTx h_{\theta}(x)=\sum_{i=0}^n{\theta _i}x_i=\theta ^Tx hθ​(x)=i=0∑n​θi​xi​=θTx Sigmoid函数(s

双鸭山•克里菲斯•北方孤星之堕 1404

PyGPT:桌面AI助手整合大模型与本地知识库,打造高效工作流

大语言模型(LLM)通过理解和生成自然语言,正深刻改变人机交互方式。其核心原理是基于海量数据训练的Transformer架构,能够根据上下文进行预测和生成。这一技术价值在于将强大的AI能力平民化,广泛应用于代码生成、文档分析、创意写作和智能问答等场景。通过API调用云端模型或本地部署开源模型,开发者可以构建个性化的AI应用。本文聚焦于PyGPT这一桌面AI助手,它巧妙地将ChatGPT、Claude、Gemini等主流大模型与LlamaIndex、Ollama等本地化工具整合,实现了聊天、文件分析、代码解释

weixin_28679635的博客 437

逻辑回归公式推导-详细版

逻辑回归的损失函数(或称为代价函数)是用于衡量模型预测结果和真实结果之间差距的一个函数。它通常采用对数似然损失函数(Log-Loss),也称为交叉熵损失函数(Cross-Entropy Loss)。我们通过最大化似然函数来推导它,并将其转化为最小化损失函数的形式。

woai110120130的专栏 2195

差分音频转单端音频单电源方案

其中,芯片设计中的轨到轨输出(Rail-to-Rail Output) 是指通过特定的电路设计,使芯片(如运算放大器、驱动电路等)的输出电压能够达到或接近电源电压的上下极限(即“电源轨”),从而最大化信号的动态范围。最终,Vout=R2/R1*(Vin2−Vin1),即输出电压为输入电压差(Vin2−Vin1)乘以电阻比R2/R1。2、电阻:R1、R2、R3、R4是电路中的电阻,其中R1 = R3,R2 = R4。因R1=R3,R2=R4,且Vn=Vp,设R1=R3=R,R2=R4=kR。

电子绿洲的博客 4965

Ubuntu快速安装miniconda

以下是卸载anaconda的步骤,记录下来给我自己看,因为学校平台anaconda版本较老,且平台不好用,每次需要卸载anaconda,我记性又不好,所以简单记录下步骤~删除类似这样的行(因为已经卸载成功了,没有截图了,拿miniconda来充当一下,样子是很像的)本次安装Ubuntu版本:18.04 但是miniconda版本是最新的。退出编辑,输入命令,清除索引缓存,保证用的是镜像站提供的索引。直接复制粘贴清华源的索引(如果是第一次安装,这个文件是空的)重启终端出现(base)2.初始化conda。

xiang_muran的博客 5368

逻辑回归详细推导(保证能看懂)

文章目录基本认识逻辑回归模型逻辑回归模型的损失函数:交叉熵损失损失函数最小值求解推导迭代公式的向量化 基本认识 在评分卡项目中,如果需要构建一个标准的评分卡模型,就只能采用逻辑回归模型,因为其它支持概率输出的分类模型只能给出样本的总分值,没有办法给出每个变量的分值,以及每个变量不同取值的分值,也可以理解成不能看到每个特征对总分的影响 线性回归简单回顾 线性回归模型是用属性线性组合来预测目标变量,而每个属性的权重反映了在该模型中属性的重要程度,即权重越大,则在该模型中对目标变量的预测能力越强 逻辑回归是一个

WGS. 3257

如何将一个向量投影到一个平面上_线性代数19——投影矩阵和最小二乘

一维空间的投影矩阵  先来看一维空间内向量的投影:  向量p是b在a上的投影,也称为b在a上的分量,可以用b乘以a方向的单位向量来计算,现在,我们打算尝试用更“贴近”线性代数的方式表达。  因为p趴在a上,所以p实际上是a的一个子空间,可以将它看作a放缩x倍,因此向量p可以用p = xa来表示,只要找出x就可以了。因为a⊥e,所以二者的点积为0:  我们希望化简这个式子从而得出x:  x是一个实数...

weixin_39741101的博客 5232

逻辑回归模型及LBFGS的Sherman Morrison(SM) 公式推导

深藏功与名 4354

图神经网络实战——利用节点回归预测网络流量

在机器学习中,回归指的是对连续值的预测。通常与分类形成鲜明对比,分类的目标是找到正确的类别(即离散值,而非连续值)。在图数据中,分类和回归分别对应于节点分类和节点回归。在本节中,我们将尝试预测每个节点的连续值,而非分类变量。

盼小辉丶的博客 1万+

FISCO BCOS(八)——— 一键部署 WeBase

环境 版本 Java Oracle JDK 8 至 14 MySQL MySQL-5.6及以上 Python Python3.6及以上 PyMySQL 1、获取部署安装包: wget https://osp-1257653870.cos.ap-guangzhou.myqcloud.com/WeBASE/releases/download/v1.5.4/webase-deploy.zip 2、解压安装包: unzip webase-deploy.zip 3、进入目录: c...

林中有神君 3610

南瓜书pumpkin-book面试指南:机器学习面试公式推导题

还在为机器学习面试中的公式推导题头疼吗?面对复杂的数学符号和推导过程,是否感到无从下手?本文将基于南瓜书(pumpkin-book)的精华内容,为你系统梳理机器学习面试中最常考的公式推导题,让你在面试中游刃有余。 读完本文,你将掌握: - 线性回归闭式解的完整推导过程 - 支持向量机对偶问题的KKT条件理解 - 逻辑回归损失函数的数学推导 - 高斯混合模型的EM算法推导 - 聚类算法核心公式的推...

gitblog_00396的博客 766

CSP-J2019普及组复赛T4:加工零件

CSP-J2020普及组复赛T1:优秀的拆分,广度优先遍历求最短路。

少儿编程乔老师 1855

机器学习之线性模型

机器学习之线性模型1.一元线性回归模型2.多元线性回归模型逻辑回归模型(对数几率回归)Logistic回归模型的实践 线性回归也就是可以用一条直线来拟合一个点集。博主大概总结下机器学习的线性模型,以及主要的公式推到,参考书籍是周志华教授的西瓜书《机器学习》,博主给出了一些西书中主要的公式推导思路或过程,对于常用的逻辑回归模型,利用sklearn机器学习包实现对MNIST公共数据集的简单分类应用。...

永恒的记忆 1469

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

逻辑回归公式推导

逻辑回归公式推导

金融风控笔记 389

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

吴恩达《Machine Learning》精炼笔记 7:支持向量机 SVM

作者 | Peter编辑 |AI有道系列文章:吴恩达《Machine Learning》精炼笔记 1:监督学习与非监督学习吴恩达《Machine Learning》精炼笔记 2:梯度下...

红色石头的专栏 864

老版QQ原生表情gif动态

这是老版的QQ表情,不过全是动态的的,Windows照片查看器是不会动的,可以右击用浏览器打开查看,再说一遍是老版的,只是分享给宁愿用老版也要动态的人。

“花式吊打”系列之逻辑回归讲透透

最近,一个研究生来面试,竟然连逻辑回归的算法都讲不清楚,这或许就是古人说的 “日用而不知” 吧,我想我们都不想只做一个 “调包者” ,而是成为一个 “明白人” 。本场 C...

优快云大数据 235

机器学习与评分卡

机器学习简介 什么是机器学习 如果一个系统能够通过执行某个过程改变它的性能,这就是学习(什么是学习) 不用编程去指定机器做什么,而是让机器有能力自己学习 首先定义任务T,经验E,表现P,如果机器有一个任务T,随着经验E的增多,表现P也会变好,则表示机器正在经验E中学习 三要素 模型(机器学习的成果,条件概率分布或决策函数) 策略(计算模型的方式) 算法 生活中的机器学习应用 垃圾邮...

qq_37634812的博客 1726

【经典算法】从0到1吃透逻辑回归:原理、实现与应用

逻辑回归主要分为二元逻辑回归、多元逻辑回归和有序逻辑回归三种类型 ,分别适用于不同的分类场景。其核心原理基于对数几率与自变量的线性关系,通过最大似然估计法求解模型参数 。在机器学习的范畴内,逻辑回归属于监督式学习的判别模型,通过最小化负对数似然损失函数,利用梯度下降等优化算法来寻找最优参数 。为了防止过拟合,我们引入了正则化方法,如 L1 和 L2 正则化 。

大雨淅淅的博客 2302

逻辑回归(Llogistics Regression)

内容导读: 1.估计参数的方法 2.最大似然法与最小二乘法 3.参数估计的公式及推导 4.估计误差的表示方法

qq_40626659的博客 1412
上一篇: 机器学习-聚类(K-Means)
下一篇: python pip及conda指南
我就想叫这个
博客等级 码龄11年 52粉丝 39原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值