贝叶斯公式、逻辑回归与线性回归

最新推荐文章于 2025-09-29 12:44:08 发布
原创 最新推荐文章于 2025-09-29 12:44:08 发布 · 1.1k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能 #机器学习 #数学基础 #贝叶斯 #逻辑回归

这篇博客介绍了贝叶斯公式及其推导，解释了先验概率和后验概率的概念，并探讨了逻辑回归与线性回归的区别。逻辑回归在线性回归基础上引入sigmoid函数，用于分类问题，而线性回归适用于连续值预测。此外，还讨论了逻辑回归的优化目标和模型解释。

学习打卡内容：

  1. 从基础概率推导贝叶斯公式，朴素贝叶斯公式

  2. 先验概率与后验概率

  3. 学习LR和linear regreeesion之间的区别

  4. 推导sigmoid function公式

 

李宏毅机器学习P8部分截图

 

最低0.47元/天 解锁文章
贝叶斯线性回归（Bayesian Linear Regression）
u013250861的博客
08-30 1035
基于上面的讨论，这里就可以引出本文的核心内容：贝叶斯线性回归。贝叶斯线性回归不仅可以解决极大似然估计中存在的过拟合的问题。它对数据样本的利用率是100%，仅仅使用训练样本就可以有效而准确的确定模型的复杂度。在极大似然估计线性回归中我们把参数看成是一个未知的固定值，而贝叶斯学派则把看成是一个随机变量。inference（求后验）和prediction下面结合图来说明贝叶斯线性回归的过程.
应用回归分析：贝叶斯回归
Allen1862105的博客
02-24 3077
贝叶斯回归是一种统计方法，它利用贝叶斯定理来更新对回归参数的估计。这种方法不仅考虑了数据的不确定性，还考虑了模型参数的不确定性，为预测提供了一个更加全面的框架。在本文中，我们将深入探讨贝叶斯回归的基本概念、如何实现它以及它与传统回归方法之间的区别。
StarCoder代码助手使用方法
最新发布
weixin_36427956的博客
09-29 629
本文系统介绍了StarCoder代码助手的原理、部署方式及高级使用技巧，涵盖本地运行、微调定制、提示工程和企业级安全应用，助力开发者提升编码效率。
【回归算法解析系列11】贝叶斯回归（Bayesian Regression）
熵数实验室
03-19 1532
贝叶斯回归通过概率建模的方式量化不确定性，在小样本和动态场景中表现出色。MCMC和变分推断作为近似后验的两大主流方法，各有其优缺点和适用场景。预测区间的提供为风险评估提供了直观的支持，使我们能够更全面地理解模型的预测结果。
逻辑回归和线性回归的区别_线性逻辑回归与朴素贝叶斯
weixin_39841610的博客
12-05 340
上周主要谈了两个算法，线性逻辑回归与朴素贝叶斯。我们先从线性与逻辑回归谈起。线性回归：· 概念：利用线性回归的最小二乘函数对一个或多个自变量的因变量之间关系进行建模的方法· 应用：预测未来，比如吸烟对死亡率和发病率的影响，资本资产定价模型，以及经济学中消费支出等。逻辑回归· 与线性回归最大的区别在于是否是二分类· 因此对于分界线尤其的敏感· 根据逻辑回归的分界线的分布，可以呈现出不同的数学公式。·...
从线性回归到贝叶斯线性回归(Bayesian Linear Regression)
David's Tweet
06-30 2205
参考： 《回字的四种写法——从线性回归到贝叶斯线性回归》 《贝叶斯线性回归(Bayesian Linear Regression)》 《透彻理解协方差矩阵》 本文顺序 一、回忆线性回归 线性回归用最小二乘法，转换为极大似然估计求解参数W，但这很容易导致过拟合，由此引入了带正则化的最小二乘法（可证明等价于最大后验概率） 二、什么是贝叶斯回归？ ...
贝叶斯逻辑回归与线性回归详解
### 贝叶斯逻辑回归与线性回归详解 #### 1. 贝叶斯逻辑回归 在许多情况下，我们不仅关注参数的点估计（如最大似然估计MLE或最大后验估计MAP），还希望计算后验概率 $p(w|D)$ 以捕捉不确定性。这在数据较少且错误...
AI算法16-贝叶斯线性回归算法Bayesian Linear Regression | BLR
yangguangjiujiu99的专栏
07-15 1722
线性回归的频率主义观点可能你已经学过了：该模型假定因变量（y）是权重乘以一组自变量（x）的线性组合。完整的公式还包含一个误差项以解释随机采样噪声。如有两个自变量时，方程为：模型中，y是因变量，β是权重（称为模型参数），x是自变量的值，ε是表示随机采样噪声的误差项或变量的影响。线性回归是一个简单的模型，它可以很容易解释：是截距项，其他权重β表示增加自变量对因变量的影响。例如，如果是1.2，那么对于中的每个单位增加，响应将增加1.2。我们可以使用矩阵方程将线性模型推广到任意数量的预测变量。
41、贝叶斯线性回归与广义线性模型详解
efc1234567的博客
07-25 52
本文详细探讨了贝叶斯线性回归与广义线性模型的核心概念及应用。内容涵盖异常值处理方法（如RANSAC与迭代方案）、贝叶斯线性回归的先验与后验分布推导、后验预测分布计算、中心化处理优势、多重共线性处理以及自动相关性确定（ARD）技术。同时，深入介绍了广义线性模型（GLM）的定义、模型形式及其常见类型，如泊松回归和二项回归，并讨论了最大似然估计与贝叶斯估计的参数求解方法。文章还列举了广义线性模型在医学、金融、市场营销和自然语言处理等领域的应用场景，帮助读者更好地理解和应用这些模型解决实际问题。
41、贝叶斯线性回归与广义线性模型解析
metal的博客
07-28 43
本博客深入解析了贝叶斯线性回归和广义线性模型的核心内容。在贝叶斯线性回归部分，探讨了异常值处理方法（如RANSAC和迭代方案）、先验与后验分布推导、后验预测分布计算、数据预处理（如数据中心化）、多重共线性处理以及自动相关性确定（ARD）方法。对于广义线性模型（GLMs），文章介绍了其理论基础、常见类型（如逻辑回归、线性回归、泊松回归）、估计方法（MLE、IRLS、贝叶斯方法）以及模型评估与选择策略。通过示例分析和公式推导，展示了贝叶斯线性回归在不确定性建模和参数估计中的优势，并总结了广义线性模型在不同应用场
机器学习视频推荐-绝对的通俗易懂（线性回归，逻辑回归，朴素贝叶斯分类器，K-近邻，SVM，决策树，随机森林，XGboost，k-means聚类）
Mr_DaYang的博客
10-04 1771
目录机器学习流程有监督算法（回归，分类）1.分类(classification)与回归(regression)的区别与关系2.线性回归3.逻辑回归（是一个分类算法，可处理二元分类及多元分类）3.1逻辑回归解决二分类问题4.K近邻算法（k-nearest neighbor classification算法）5.朴素贝叶斯分类器（Naive Bayes Classifier）-判垃圾邮件6.SVM（支持向量机-线性分类器）7.决策树（处理非线情况）7.1使用决策树判断是否打golf8.随机森林9.XGBoost
一文讲懂普通线性回归与贝叶斯线性回归的区别
学渣的博客
07-12 3965
将均方误差应用到线性回归问题中 首先我们先回顾频率派的解决方法，即常规解法——利用最小二乘法解决问题。损失函数采用均方误差函数。 关于模型容量问题： 在《深度学习》中专门指出，模型的容量也是一个需要用户指定的超参数，即拟合的多项式次数。此处为了简化操作，暂定为一次多项式。 解决代码如下： import numpy as np x = np.random.randn(10) + 5 # 初始参数 k...
机器学习常用的算法整理：线性回归、逻辑回归、贝叶斯分类、支持向量机、K-means聚类、决策树、随机森林以及常用的应用场景整理
古月哲亭
12-21 3077
什么是机器学习？ 机器学习是计算机利用已有的数据(经验)得出了某种模型，并利用这些模型预测未来的一种方法。这个过程其实与人的学习过程极为相似，只不过机器是一个可以进行大维度数据分析而且可以不知疲倦地学习的“怪兽”而已。 具体的机器学习过程如下： 机器学习算法纵览常见的机器学习算法： 产品视角的14种常见算法简单总结 决策树 无监督机器学习中，最常见4类聚类算法总结 ：K-means聚类 Dbscan聚类 ...
《Spark机器学习》笔记——Spark分类模型（线性回归、朴素贝叶斯、决策树、支持向量机）
陈杰
01-06 2976
一、分类模型的种类 1.1、线性模型 1.1.1、逻辑回归 1.2.3、线性支持向量机 1.2、朴素贝叶斯模型 1.3、决策树模型 二、从数据中抽取合适的特征 MLlib中的分类模型通过LabeledPoint(label: Double, features: Vector)对象操作，其中封装了目标变量（标签）和特征向量 从Kaggle/StumbleUpon evergreen分
【贝叶斯分析④】线性回归
qq_32464407的博客
07-31 779
代码地址：https://github.com/ChengJiacheng/bayesian-analysis/blob/master/LR.py 线性回归是统计学习中的常见问题，即求解线性模型y=α+βx中的参数α、β。通常的做法是最小二乘法（最小均方误差法），将参数估计问题（the problem of estimating α and β）转化成了一个最优化问题（an optimizati...
线性回归，逻辑回归的学习（包含最小二乘法及极大似然函数等）
weixin_30399797的博客
03-03 263
博文参考了以下两位博主的文章：http://blog.youkuaiyun.com/lu597203933/article/details/45032607，http://blog.youkuaiyun.com/viewcode/article/details/8794401 回归问题的前提： 1） 收集的数据 2） 假设的模型，即一个函数，这个函数里含有未知的参数，通过学习，可以估计出参数。然后利用这个...
逻辑回归
Young, Simple, Naive
01-30 248
逻辑回归（Logistic Regression）一般用于二分类问题，用于建模样本属于某一类别的概率。 使用概率的好处是，在具体场景下可以通过设置不同的阈值以满足不同的需求。比如我们可能只会在明天有很大概率下雨时才会带伞，但却不愿将钱借给一个哪怕只有很小概率会赖账的人。概率阈值反映了我们的保守程度。 我们带着两个问题来阅读下面的内容： 1、为什么逻辑回归叫这么个奇怪的名字？ 2、逻辑回归为什么是线性模型？ 二分类问题： P(X)=Pr(Y=1∣X) P(X)=Pr(Y=1|X) P(X)=Pr(Y=1∣X)
[机器学习] 分类(Classification)——贝叶斯分类 (Bayes Classification) 和逻辑回归 (Logistic Regression)
qq_27309515的博客
09-13 900
Classification Probabilistic Generative Model   在概率论中，我们学习过贝叶斯公式，他是说当一件事情 AAA 发生了，这件事可能有 nnn 个原因 B1, ... ,BnB_1,\ ...\ ,B_nB1​, ... ,Bn​ ，那么在 AAA 发生的条件下，事情是由 BiB_iBi​ 引起的概率记为 p(Bi∣A)p(B_i|A)p(Bi​∣A) ，这个概率等于在 BiB_iBi​ 发生的概率乘以 BiB_iBi​ 的条
贝叶斯回归
qq_42791848的博客
01-07 5306
Bayes Regression 贝叶斯回归是由贝叶斯派提出的一种线性回归方法，它的思想是不把参数和数据集看作是一个一个未知的数，而是看作一个已知的分布。具体来说，贝叶斯回归有两大任务，参数估计(Inference)和预测(Prediction)，接下来我们就来仔细分析一下贝叶斯回归的具体做法。 Inference Inference问题就是要求一个后验概率分布，即p(W∣X;Y)p(W|X;Y)p(W∣X;Y)，我们仍然令这个分布为一个高斯分布N(0,ξd)N(0,\xi_d)N(0,ξd​)，那么只要我
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值