深入理解线性回归算法(三):浅谈贝叶斯线性回归

一文搞定(二)—— 贝叶斯线性回归 贝叶斯方法(估计) Baysian Method 推导 Inferenece 即求解后验 P(w∣X,Y)\small P(w|X,Y)P(w∣X,Y) xi,yi  scalarw  vector(p,1)x  vector(p,1)X  matrix(N,p)Y  vector(N,1)\small x_i,y_i\;scalar \\ w\;vector(p,1) \\ x\;vector(p,1) \\ X\;matrix(N,p) \\ Y\;vector(N,1)xi​,yi​scalarwve 阅读详情

前言

上文介绍了正则化项与贝叶斯的关系,正则化项对应于贝叶斯的先验分布,因此通过设置参数的先验分布来调节正则化项。本文首先介绍了贝叶斯线性回归的相关性质,和正则化参数λ的作用,然后简单介绍了贝叶斯思想的模型比较,最后总结全文。

 

目录


1、后验参数分布和预测变量分布

2、正则化参数λ的作用

3、贝叶斯模型比较

4、总结

 

                                        1、参数的后验分布和预测变量分布


已知模型参数的先验分布和高斯分布的数据集,参数的后验分布通过贝叶斯定理求得。

模型参数w的先验分布:

 

高斯分布的数据集的似然函数:

 

1、模型的参数后验分布

后验分布求解步骤:

 

性质:

如下图:

三张图分别为样本数等于1、2、20的参数后验分布:

               

由上面三图可知,当样本数逐渐增加时,参数w分布的等高圆半径越来越小,即协方差项越来越小,参数w的确定性增大。

2、模型的预测变量分布

 

下图样本数分别为2,4,25的预测变量的分布:

                                     

 

由上面三图可知,暗红色区域代表预测变量的方差,当样本数增加时,预测变量的方差变小,确定性增加。

因此,增加样本数据可以提高预测结果的准确性。

                                 

                                               2、正则项参数λ的作用


含正则化项L2范数的损失函数:

 

参数的先验分布为高斯分布,参数后验分布的自然对数为:

 

因此,最大化参数w的后验分布等同于最小化含正则项的损失函数。β表示观测数据集的精度,α表示先验参数分布的精度,λ衡量这两项的相对重要程度。

最大化参数w的后验分布,得参数w:

                                                                       

由上式可知,当λ等于0时,无先验分布,参数等于最大似然函数对应的模型参数,模型复杂度达到最大。当λ增大时,参数的分量变小,若λ足够大,则参数的某些分量等于0,因此正则项参数的作用是调节模型的复杂度。

 

                                                       3、贝叶斯模型比较


常用的模型比较方法有留出法、交叉验证法和自助法,这三种方法的缺点在于无法用完整的训练数据构建模型,因此构建的模型可能不符合真实模型。

最大似然函数构建的模型存在过拟合,因为最大似然函数认为参数w是常数,即参数w的点估计。

贝叶斯模型避免过拟合问题,因为贝叶斯认为参数w是分布在一定的参数空间,所有可能的w与似然函数加权求和(如下图),得到的预测变量能够避免过拟合问题。

                                         

因此,贝叶斯可以使用整个训练数据集来进行模型比较。

模型证据

假设共有L个模型{Mi},其中i=1,2,...,L。假设数据集D是由其中一个模型生成的,模型Mi生成数据集的概率称模型证据,如下表达式。

                                            

其中,模型Mi是由参数w控制的,即不同的参数w代表不同的模型。

由于数据集D是随机抽样生成的,有可能会出现错误的模型产生的更大的模型证据,为了避免这一偶然因素,采用期望的形式去比较模型,如下图。

                                                        

若数据集D是由模型M1产生的,那么上式恒大于0。

 

                                                                    总结


本文简单的介绍了贝叶斯线性回归的相关性质,样本数增加可以减小参数w和预测变量的分布空间,提高准确性。贝叶斯的模型比较之所以可以使用整个训练数据集,是因为贝叶斯对参数w的分布空间进行了加权求和。

参考

Christopher M.Bishop <<Pattern Reconition and Machine Learning>>

                                                                

机器学习笔记之贝叶斯线性回归(一)线性回归背景介绍 本节开始,介绍贝叶斯线性回归(Bayesian Linear Regression)。 阅读详情

相关推荐

利用马尔可夫链蒙特卡洛(MCMC)进行贝叶斯线性回归和非线性回归的python代码(不调包)

全网及其少见的不调用pymc3等贝叶斯库进行贝叶斯线性回归示例的python代码

RSstudent的博客 7720

【机器学习】贝叶斯线性回归

贝叶斯线性回归。不是什么新奇的东西,实际上就是线性回归从贝叶斯派的角度去理解罢了。本文将从贝叶斯派的角度去推导。

sdksdf的博客 2900

贝叶斯线性回归 Bayesian Linear Regression

贝叶斯线性回归 Bayesian Linear Regression

qq_44943626的博客 518

机器学习之分类算法-k近邻、朴素贝叶斯、决策树与随机森林、逻辑回归,回归算法-线性回归、岭回归,k-means

文章目录引入:1.机器学习算法分类2.机器学习开发流程3.sklearn数据集4.转换器 引入: 1.机器学习算法分类 监督学习(特征值+目标值) 分类(目标值离散型): k-近邻算法、贝叶斯分类、决策树与随机森林、逻辑回归、神经网络 回归(目标值连续型): 线性回归、岭回归 标注: 隐马尔可夫模型 (不做要求)  监督学习(英语:Supervised learning),可以由输入数据中学 到或建立一个模型,并依此模式推测新的结果。输入数据是由 输入特征值和目标值所组成。函数

XST1520203418的博客 6195

常见的机器学习算法有哪些?每种算法适用于什么类型的问题?

机器学习是人工智能领域的重要分支,它通过利用数据和统计方法让机器从经验中学习,提高其在特定任务上的性能。在机器学习中,选择适当的算法对问题进行建模是至关重要的一步。本文将介绍常见的机器学习算法以及它们适用的应用领域,帮助读者了解各种算法的特点和优势。

m0_74693860的博客 3830

贝叶斯线性回归(Bayesian Linear Regression)

基于上面的讨论,这里就可以引出本文的核心内容:贝叶斯线性回归。贝叶斯线性回归不仅可以解决极大似然估计中存在的过拟合的问题。它对数据样本的利用率是100%,仅仅使用训练样本就可以有效而准确的确定模型的复杂度。在极大似然估计线性回归中我们把参数看成是一个未知的固定值,而贝叶斯学派则把看成是一个随机变量。inference(求后验)和prediction下面结合图来说明贝叶斯线性回归的过程.

u013250861的博客 1137

线性神经网络与贝叶斯线性回归的比较

本文聚焦于线性神经网络与贝叶斯线性回归,详细阐述二者的理论基础、模型构建、训练过程以及在不同应用场景下的特性表现。通过深入的数学推导、算法流程解析以及实际代码示例,全面对比两者在预测准确性、模型解释性、对数据规模和噪声的适应性等多方面的异同点,旨在为数据科学与机器学习领域的从业者和研究者提供深入理解这两种重要模型的参考资料,助力其在实际项目中根据具体需求合理选择模型。

梵心白莲的博客 938

24、线性回归中的岭回归与贝叶斯方法

本文深入探讨了线性回归中的岭回归与贝叶斯方法,涵盖其理论基础、数值计算优化及实际应用。重点介绍了岭回归通过正则化防止过拟合的机制,利用数据扩充和QR分解提升数值稳定性的技巧,并揭示了其与主成分分析之间的联系。同时,系统阐述了贝叶斯线性回归在已知和未知噪声方差下的后验推断过程,包括共轭先验、不适当先验以及经验贝叶斯(证据程序)的应用。结合大数据对模型性能的影响,比较了贝叶斯与频率主义推断的一致性,最后通过操作步骤、表格与流程图总结了关键方法,为实际建模提供了清晰指导。

uu89012的博客 53

基于贝叶斯线性回归的多变量数据回归预测MATLAB代码

基于贝叶斯线性回归的多变量数据回归预测MATLAB代码 去发现同类优质开源项目:https://gitcode.com/ 项目介绍 在数据分析与机器学习的研究领域中,贝叶斯线性回归以其独特的概率建模方法,为多变量数据回归预测提供了强有力的工具。本项目提供了一套基于贝叶斯线性回归算法的多变量数据回归预测模型,包含完整的MATLAB代码。它不仅可以帮助科研人员和学生更好地理解贝叶斯统计方法,也为实际应...

gitblog_06720的博客 791

深入理解机器学习算法与贝叶斯推断

本书详细介绍了机器学习算法的多种类型,包括贝叶斯推断和深度学习主题,以及软件实现中使用的算法范式和数据结构。书中分为四个部分,每一部分都涵盖了机器学习的关键概念和实践应用。特别是,第一部分重点介绍了贝叶斯推断的两个主要流派:马尔可夫链蒙特卡洛和变分推断。本书适合不同层次的数据科学爱好者,无论你是入门者还是寻求进阶的从业者。

weixin_42168902的博客 831

【智驾与大模型】端到端与多模态大模型的精彩之旅

智驾和大模型的回顾与展望。开头的笔者自述也说了些心窝子话,边缘计算的监管刻不容缓!

仿生实验室:从0到1,制作人脸表情交互机器人,记录过程,软硬件全部开源,与君共襄盛举! 1321

Windows Defender 移除工具详解:三种模式释放 Windows 10/11 系统资源

windows-defender-remover 是一款 Windows Defender 移除工具,面向 Windows 10/11,用 .reg 注册表文件配合批处理脚本移除内置 Defender 及相关安全组件,适合开发测试机、性能敏感系统与批量部署场景。 ## 工具定位:Defender 移除适合哪些场景 Defender Remover 针对 Windows Defender 安全栈

gitblog_01127的博客 921

从零到一:基于Blazor和Elsa Workflows的工作流系统开发实战

本文详细介绍了如何利用Blazor和Elsa Workflows构建高效的工作流系统,从技术选型到生产环境部署,涵盖动态工作流建模、Blazor前端集成及性能优化等核心内容。通过实战案例,展示如何实现订单处理系统的自动化与灵活性,提升企业流程效率。

weixin_26875109的博客 430

监督和无监督、分类和回归算法总结

监督学习可以分为两类:分类和回归。

小麦粒的Python 1万+

C#---第十一课:对列表的各种操作,添加、删除、排序、列表长度、获取元素的索引、FirstOrDefault()、SingleOrDefault()、last()

1.添加元素 2.删除元素 (1)删除列表中指定的元素 (2)删除列表A中所有与列表B相交的元素---常规 (3)删除列表A中所有与列表B相交的元素---lambda 3.排序(正序、倒序) 4.获取列表的最大容量(长度)、已用容量 6.获取元素在列表中的位置(index) 7.判断某元素是否在列表List中 8.获取列表中第一个元素First() & FirstOrDefault() 9.获取列表中唯一元素Single() & SingleOrDefault() 10.获取列表中最后一个元素

Alien-Hu 3628

【社区分享】从零开始学习 TinyML,建立 TensorFlow 深度学习模型(技术优化篇)

本文来自社区投稿与征集,作者王玉成,ML&IoT Google Developers Expert,温州大学智能锁具研究院总工程师。 了解更多:https://blog.youkuaiyun.com/wfing 经过前面几章的讨论,我们了解了TinyML 的概念,完成了一个最简单的TinyML 的模型并且运行在微控制器上,得出最基本的结果。但是在实际的工程应用中,模型建立之后,也需要再进一步结合许多优化方面的技术,这就是我们接下来想要探讨的。 5. 优化 TinyML 这本书也详细的向我...

tensorflowforum的博客 1万+

深入理解大模型基础算法:贝叶斯定理的核心逻辑、实践应用与Java实现

本文系统解析了贝叶斯定理在大语言模型(LLMs)中的核心作用。首先对比了频率派与贝叶斯派的统计范式差异,详细阐述了贝叶斯定理的数学表达式及其核心概念(后验概率、似然度、先验概率和边缘概率)。通过医学诊断和Monty Hall悖论等经典案例,展示了贝叶斯定理解决实际问题的推理过程。文章深入分析了贝叶斯定理与大模型的深度关联,包括文本生成的概率推理、复杂逻辑问题求解、可解释性增强(贝叶斯网络)以及参数估计与不确定性量化等关键应用。

weixin_66243333的博客 1090

STM32实战篇:使用USART发送/接收数据

在发送字符时也可以直接使用其对应的ASCLL码,例如: USART_SendData(USART1, 0x61);

qq_74114817的博客 597

数据挖掘常用算法原理

作为一个统计出身的数据人,学习机器学习更要学习原理。对于数学原理透彻理解,不论是模型优化还是参数调整都将是一个很好的理论功底。在此参照网上一篇理论博文,再学习理解一遍。 常见机器学习算法(主要是一些常规分类器)大概流程和主要思想。 朴素贝叶斯:   有以下几个地方需要注意: 1. 如果给出的特征向量长度不同,这是需要归一化为同长度的向量(这里以文本分类为例),比如说是句子中的单词的话,则长度为整个...

qq_31590889的博客 3457

MinIO vs 华为云OBS:成本、性能与兼容性深度对比(含实测数据)

本文深度对比了开源对象存储MinIO与华为云OBS在成本、性能、兼容性及运维方面的核心差异。通过实测数据与全生命周期成本分析,为技术决策者提供选型依据。文章指出,MinIO在长期成本控制、性能深度优化及S3 API兼容性方面优势显著,而华为云OBS则提供开箱即用的便利性。

kmeans3miner的博客 596

代谢组数据分析(十五):基于python语言构建PLS-DA分类预测模型

本教程阐述典型代谢组学数据分析工作流程,用于二元分类结果的研究。流程主要步骤如下:首先从 Excel 表格导入代谢物与实验数据,接着基于汇总 QC 进行数据清洗。随后借助主成分分析可视化检查数据质量,再开展两类单变量统计。之后运用偏最小二乘判别分析(PLS - DA)实施多变量分析,此过程涵盖模型优化(对比 R2 与 Q2)、置换测试及明确模型预测指标、确定特征重要性、对模型预测数据进行可视化。最终将统计表格导出至 Excel 表格,完整呈现从数据导入到分析结果输出的全过程。

专注生信领域 2878

深入探索线性回归:从基础到进阶的全面教程 + python编码实现示例

本教程全面介绍了线性回归的多个方面,从基础模型到最大似然估计、模型改进、模型评估,再到最大后验估计和贝叶斯线性回归。通过理论与实践相结合,深入剖析了每个知识点的原理和应用。读者在学习过程中,应注重理解数学原理背后的逻辑,通过动手实践代码,加深对线性回归模型的掌握。同时,要认识到不同方法的优缺点和适用场景,以便在实际问题中灵活选择和应用。

Tekin 是深耕技术 20 年的全栈实战派专家,精通 Go/Python/Java 等多语言开发。博客专注技术原理与实战结合,深度解析 Python 高阶编程、Go 语言架构、数据库优化等硬核内容。涵盖并发编程、机器学习、云原生等前沿领域,通过真实案例拆 886

下采样优化实战:用ADown显著提升YOLOv11的多尺度特征保持能力

ADown 以“可编程梯度信息+多分支特征融合”打破了传统下采样的性能壁垒,为 YOLOv11 带来了多尺度特征的精准传递能力。从原理到代码集成,本教程已为你铺就了一条“小目标检测精度跃升”的实战路径。现在就动手尝试吧——当你看到模型对极小目标也能精准识别,且特征图细节完整时,你会明白这份技术探索的价值。我很乐意在你实践过程中帮你解决任何问题,让我们一起推动目标检测在下采样领域的边界。

FJN110的博客 425

开源项目教程:贝叶斯统计实战 —— 深入理解与应用 `storopoli/Bayesian-Statistics`

开源项目教程:贝叶斯统计实战 —— 深入理解与应用 storopoli/Bayesian-Statistics 项目介绍 欢迎来到 storopoli/Bayesian-Statistics,一个专注于提供贝叶斯统计学习资源的开源项目。这个项目由开发者Storopoli维护,旨在通过一系列示例和教程帮助开发者和数据科学家掌握贝叶斯分析的核心概念和技术。它包括了从基础理论到实际案例的全面讲解,非常适...

gitblog_00831的博客 1080

Probability and Statistics - 4th edition

Probability and Statistics - 4th edition

蓝牙模块HM-10手册

蓝牙模块HM-10手册,该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

Bambi终极指南:Python贝叶斯建模的完整解决方案

Bambi(BAyesian Model-Building Interface in Python)是一个基于Python的高层次贝叶斯模型构建接口,专门设计用于简化社会科学中常见的混合效应模型的贝叶斯方法应用。这款强大的工具建立在PyMC概率编程框架之上,让用户能够以直观的方式构建复杂的统计模型。 ## 为什么选择Bambi进行贝叶斯建模? 🎯 Bambi的核心优势在于其简洁的语法和强大的

gitblog_00275的博客 646

温度PID控制PLC程序

温度PID稳定控制程序,适用于欧姆龙PLC,对其他PLC也具有很大参考价值

上一篇: 深入理解线性回归算法(二):正则项的详细分析
下一篇: 线性分类模型(一):线性判别模型分析
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值