[李宏毅-机器学习]逻辑回归Logistic Regression

最新推荐文章于 2023-08-31 17:16:12 发布
原创 最新推荐文章于 2023-08-31 17:16:12 发布 · 471 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文探讨了逻辑回归与线性回归的区别，特别是在分类任务中的应用。解释了逻辑回归为何不适合使用均方误差，并对比了判别式模型与生成式模型。通过分析朴素贝叶斯算法，展示了如何通过特征转换解决非线性分类问题，最终引出了神经网络的概念。

逻辑回归相对于线性回归，是在y=ax+b上用sigmoid做输出的限制

逻辑回归用于分类，线性回归用于拟合数据

使用梯度下降获得最终结果

为什么逻辑回归不能用均方误差？

判别式模式 和 生成式模型

判别式模型知道找到类别的判别式中的参数，即直接找到P（C|x）分布

而生成式模型需要先对P（x|C）进行假设建模（如高斯模型），然后找到该模型的参数，得到P（x|C）后，再间接计算P（C|x）

 

朴素贝叶斯

下图中，最后一行是P（x1=1|c2）

 

注意 其中z的得到，是通过不同的w和b，其中w，x，b都是向量

 

逻辑回归无法解决上图中的分类问题，因为逻辑回归是线性boundary，上图的情况无法用一个boundary

使用特征转换，将原来的特征转换到另外一个空间，可以得到线性boundary的空间

但是这种转换人为很难找到，因此想要让机器自己找到一个tranfromer

就将多个逻辑回归叠加到一起，让前边的逻辑回归自己找到一个tranformer，最后一个再用分类

每一个逻辑回归单元，就是一个神经元，这就是神经网络

李宏毅机器学习自用笔记------逻辑回归
PlutoLilian的博客
09-08 535
自用学习笔记，希望得到大佬指正
李宏毅机器学习-----逻辑回归Logistic Regression
zyuPp的博客
08-13 1262
接上上一节的内容，我们认为通过概率模型最后推导出来函数还是为了求出最优的w和b，所以为什么不直接找一个function来直接求呢？那就是今天要介绍的Logistic Regretion！ 上节链接 逻辑回归的Function Set 后验概率Pw,b(C1∣x)P_{w,b}(C_1|x)Pw,b​(C1​∣x)就是σ(z)\sigma(z)σ(z)，而z=wx+b，推导出function se...
李宏毅机器学习-逻辑回归
柯同学要谦虚
03-16 438
文章目录逻辑回归和线性回归基本结构决定好坏更新方法Reason生成模型和判别模型Softmax 逻辑回归和线性回归 基本结构 决定好坏 更新方法 Reason 如果是交叉熵，距离target越远，微分值就越大，就可以做到距离target越远，更新参数越快。而平方误差在距离target很远的时候，微分值非常小，会造成移动的速度非常慢，这就是很差的效果了 生成模型和判别模型 训练集数据量很小的情...
李宏毅机器学习系列-逻辑回归
王伟王胖胖的博客
08-15 661
李宏毅机器学习系列-逻辑回归分类回顾逻辑回归+均方差损失函数 分类回顾 我们先回顾下前面我们讲的分类的步骤，第一步先找到一个模型集合，是个概率模型，最后可以转化为sigmoid函数，输入是一个线性函数，如果结果大于等于0.5，则认为是类1，否则是类2： 如果画出结构图的话应该是这样，每个特征xix_ixi​都有一个权重，然后加上偏置，输入到sigmoid函数里，得到0到1的概率值： 第二步我们...
李宏毅 机器学习笔记-06 逻辑回归（Logistic Regression）
花花的博客
08-17 853
Logistic Regression 回顾 上个笔记的最后我们已经化简了模型，今天我们继续来研究如何计算模型。P(C1∣x)=σ(z)P(C_1|x) = \sigma ( z )P(C1​∣x)=σ(z) 得到:P(C1∣x)=σ(w⋅x+b)P(C_1|x) = \sigma ( w \cdot x + b )P(C1​∣x)=σ(w⋅x+b) Step 1: Function Set 三...
李宏毅机器学习笔记第5周_逻辑回归
peaunt1的博客
05-15 549
逻辑回归
机器学习[李宏毅]-笔记6-Logistic Regression
greenmoss的博客
09-02 308
本节课程幻灯片链接 目录
李宏毅2020机器学习 【学习笔记】 P11Logistic Regression
weixin_51330846的博客
08-31 904
【李宏毅2020机器学习深度学习(完整版)国语】 https://www.bilibili.com/video/BV1JE411g7XF/?
2021李宏毅学习笔记——5. logistic Regression(逻辑回归）
weixin_44790306的博客
05-20 1317
文章目录摘要一、logistic regression二、logistic regression 与linear Regression的区别三、discriminative （判别式模型）与generative（生成式模型）四、Multi-class Classification（多分类）五、Logistic Regression的限制与解决方法展望 摘要 本章首先通过生成概率模型引入了logistic Regression，并介绍了什么是logistic Regression（逻辑回归），以及logist
【李宏毅机器学习笔记6】Logistic Regression 逻辑回归
FCer的博客
06-28 511
背景博客参考：https://blog.youkuaiyun.com/Allenlzcoder/article/details/78994291 上篇博客学习了概率生成式模型，本篇将介绍另一个模型，即判别式模型，也由此，“逻辑回归”，闪亮登场！作为神经网络的基本单元，本篇也十分重要~！ 思考：为什么不用square error做线性回归？ 因为linear regression在建模后其输出值是...
李宏毅机器学习——逻辑回归
日积月累，天道酬勤
12-01 886
逻辑回归 第一步先选择函数集 步骤一：函数集 接上一篇，我们知道，给定一个x,它属于类别C1C_1C1​的概率为Pw,b(C1∣x)P_{w,b}(C_1|x)Pw,b​(C1​∣x), 如果Pw,b(C1∣x)≥0.5P_{w,b}(C_1|x)\geq0.5Pw,b​(C1​∣x)≥0.5则属于C1C_1C1​；否则属于C2C_2C2​ 最后我们得到 Pw,b(C1∣x)=σ(z),σ(z)=...
6.机器学习之逻辑回归(李宏毅)
qq_39223444的博客
06-16 250
6.逻辑回归（Logistic Regression） 6.1 分类问题（Classification） 在分类问题中，如果要预测变量是离散的值，我们要学习的就是叫做逻辑回归的算法。逻辑回归算法就是分类算法，有时候可能因为名字中有回归会困惑，但逻辑回归算法实际上是一种分类算法，适用于标签为离散值的情况。 如果我们要用线性回归算法来解决一个分类问题，对于分类， ???? 要取值为 0 或者 1，但如果你使用的是线性回归，那么假设函数的输出值可能远大于 1，或者远小于 0，即使所有训练样本的标签 ???? 都等
【李宏毅】机器学习 笔记05（Logistic Regression：逻辑回归）
Mr_Kingk的博客
07-26 436
Setp 1：Fuction Set 将z代入sigmod函数：1/1+e^-z Step2：Goodnessofafunction： 找出使L(w,b)最大的w和b，记为w*和b* H（p,q）称为p和q的交叉熵（crossentropy）； Step3：Findthebestfunction： 使用gradient descent来最小化−lnL(w,b) 对w求偏导： 最终计算结果： 比较Logistic Regression（...
5、【李宏毅机器学习（2017）】Logistic Regression（Logistic回归）
Jimmyzqb的博客
08-28 4761
本篇博客将在分类模型基础上继续，并开始学习一种常用的分类算法——Logistic回归，同样按照机器学习简介中机器学习建模步骤。 目录 step1 step2 step3 Logistic Regression与Linear Regression 差异 为什么在Logistic回归中使用Cross entropy而非MSE做模型选择的标准？ Multi-class Classific...
李宏毅机器学习之logistic regression
Trony的博客
03-16 282
一、逻辑回归 1.1 Step 1 逻辑回归的函数集 在前面我们在分类问题的解决方法中，得到了函数集的形式 将函数集可视化： 上面这种函数集的分类问题叫做Logistic Regression（逻辑回归），将它和线性回归的函数集做一个对比： 1.2 定义损失函数 下图中有一个训练集，每个对象分别对应属于哪个类型（例如：属于）。假设这些数据都是由后验概率产生的，给定一组w和b，就可以计算这一组w，b下产生的下图个训练数据的概率，，对于使得最大的w和b，记做和，即：，将训练集数字化，并且将
2021李宏毅机器学习笔记--6 logistic regression逻辑回归（一种分类方法）
guoxinxin0605的博客
05-15 371
2021李宏毅机器学习笔记--6 logistic regression逻辑回归（一种分类方法）摘要步骤step1 Function Setstep2 Goodness of a Functionstep3 Find the best function小结及展望 摘要 logistic regression 逻辑回归虽然他的名字中带有“回归”，但是实际上它是一种分类方法，与之前学习的线性回归是不同的。 步骤 step1 Function Set 求和所有的参数w和x的乘积，加上b就是z的值，然后sigm
李宏毅机器学习 Logistic Regression
热门推荐
herosunly的博客
05-31 1万+
逻辑回归的流程 1. 定义函数集合 函数集合示意图如下所示： 1.1 逻辑回归和线性回归的区别 逻辑回归相比线性回归而言，多了一个sigmoid函数，导致值域也会发生变化。 2. 定义损失函数   给定数据以及www、bbb和f(x)=P(C1∣x)f(x)=P(C_1|x)f(x)=P(C1​∣x)，生成数据的概率是： L(w,b)=f(x1)f(x2)(1−f(x3))…f(xN)L(...
2020李宏毅学习笔记——7.logistic Regression
weixin_44554337的博客
06-07 365
一：回顾一下子奥： 上节课的classification用的是根据宝可梦的属性值预测其类别，分类问题不能被视为回归问题，离决策边界远的点会对结果造成误差，因此采用三步法，1.假设模型 2.利用到贝叶斯公式计算P(C1|x)，即P(C1)、P(C2)、P(x|C1)、P(x|C2)这四个值，P(C1)、P(C2)容易估计，要估计P(x|C1)、P(x|C2)，用高斯分布产生，用最大似然的方法，使得似然函数最大的参数（μ∗,∑∗），分别是训练数据中该类数据的平均值和协方差矩阵，求得P(C1|x)，测试集正确率低
机器学习-Logistic Regression（李宏毅机器学习学习笔记）
尊尊_机器学习的博客
04-18 493
    Logistic Regression 是一种线性回归模型，通过sigmoid函数，它的输出值只有0和1.我以李宏毅大师的讲解对Logistic Regreesion笔记总结和学习。Three Steps  Step 1：Function Set        逻辑回归主要使用sigmoid函数，将输入的值进行非线性转换（神经网络也是类似操作），将输出值映射到0-1，可以进行等效于概率。下...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值