我觉得贝叶斯统计是必修课!!!

即使对于一个非数据科学家来说,贝叶斯统计这个术语也已经很流行了。你可能在大学期间把它作为必修课之一来学习,而没有意识到贝叶斯统计有多么重要。事实上,贝叶斯统计不仅仅是一种特定的方法,甚至是一类方法;它是一种完全不同的统计分析范式。

为什么贝叶斯统计如此重要

贝叶斯统计为你提供了在新数据的证据中更新你的评估工具,这是一个在许多现实世界场景中常见的概念,如跟踪大流行病,预测经济趋势,或预测气候变化。贝叶斯统计是许多较著名的统计模型的支柱,如高斯过程。

重要的是,学习贝叶斯统计原理可以成为你作为一个数据科学家的宝贵财富,因为它给你一个全新的视角来解决具有真实世界动态数据来源的新问题。

这篇文章将介绍贝叶斯统计的基本理论,以及如何在Python中实现一个简单的贝叶斯模型。

目录表:

01 什么是贝叶斯统计?

02 贝叶斯编程简介

03 贝叶斯的工作流程

04 建立一个简单的贝叶斯模型

闲话少说,进入主题!让我们开始介绍贝叶斯统计编程。

01 什么是贝叶斯统计?

你可能会在互联网上的某个地方或在你的课堂上看到这个方程式。

如果你没有,也不要担心,因为我将向你简要介绍贝叶斯的基本原则以及该公式的工作原理。

关键术语

上述贝叶斯公式的组成部分一般被称为概率声明。例如,在下面的后验概率声明中,该术语的意思是 "给定观测值y,theta(θ)的概率是多少 "。

Theta(θ)是这里的未知数,被称为我们所关心的参数。参数的不确定性遵循一个特定的概率分布,可以使用与数据相关的模型组合来估计有关参数。

上述贝叶斯统计表述也被称为反概率,因为它是从观察到参数开始的。换言之,贝叶斯统计试图从数据(效果)中推断出假设(原因),而不是用数据来接受/拒绝工作假设。

贝叶斯公式

那么,贝叶斯公式告诉我们什么呢?

后验概率是我们想知道的主要部分,因为Theta(θ)是我们感兴趣的参数。

观察的可能性仅仅意味着,在Theta(θ)的特定值下,数据y在现实世界中出现的可能性有多大。

先验概率是我们对Theta (θ)应该是什么样子的最佳猜测(例如,也许它遵循正态或高斯分布)。

归一化常数只是一个系数常数,使整个方程积分为1(因为概率不能低于0和高于1)。

现在我们已经涵盖了贝叶斯统计的基本理论,让我们开始为即将到来的贝叶斯编程教程进行设置。

02 贝叶斯编程介绍

安装

首先,安装PyMC3作为我们执行贝叶斯统计编程的首选库。

  1. 推荐使用conda

conda install -c conda-forge pymc3

  1. 也可使用pip

pip install pymc3

获取数据

我们将使用描述美国家庭中氡气(Radon)浓度的氡气数据集。氡气已被证明是非吸烟者患肺癌的最高预测因素之一,其浓度通常与房屋的整体条件(例如,是否有地下室,等等)有关。

首先,在你的笔记本或终端运行以下命令:

!wget "https://raw.githubusercontent.com/fonnesbeck/mcmc_pydata_london_2019/master/data/radon.csv"

确保你的数据位于你的笔记本的同一目录内。

数据探索

import pandas as pd
import seaborn as sns
import matplotlib.pyplot as plt
import numpy as npradon = pd.read_csv('./radon.csv', index_col=0)radon.head()

我们注意到,有29列描述了一个家庭中氡(Radon)的浓度。

数据集汇总

让我们画一张图,显示 "ANOKA "的氡的对数浓度分布,用一条垂直线来说明对数浓度为1.1。

anoka_radon = radon.query('county=="ANOKA"').log_radon
sns.distplot(anoka_radon, bins=16)plt.axvline(1.1)
密度分布

ANOKA地区氡气对数浓度超过1.1的家庭比例似乎相当大,这是一个令人担忧的趋势......

03 贝叶斯工作流

现在我们有了数据,让我们进行贝叶斯推断。一般来说,这个过程可以分解为以下三个步骤。

第1步:指定一个概率模型

这是作为建模者要多做选择的地方。你将需要为一切指定最可能的概率分布函数(例如,正态或高斯、考奇、二项式、t分布、F分布,等等)。

我所说的一切,是指包括未知参数、数据、协变量、缺失数据、预测在内的一切。所以,用不同的分布函数做实验,看看在现实世界的场景中如何起效。

第2步:计算后验分布

现在你将计算这个概率项,给定贝叶斯方程右边的所有项。

第3步:检查你的模型

与其他ML模型一样,评估你的模型是关键。回到第一步,检查你的假设是否有意义。如果没有,改变概率分布函数,并反复重申。

04 建立一个简单的贝叶斯模型

现在,我将向你介绍一个简单的编程练习来建立你的第一个贝叶斯模型。

第1步:定义一个贝叶斯模型

首先,让我们定义我们的氡气——贝叶斯模型,有两个参数,平均值(μ-"miu")和其偏差(σ-"sigma")。这些参数(μ和σ)还需要通过选择对应的分布函数来建立模型(记住:我们必须为所有参数定义概率分布)。

对于这些,我们选择的函数是正态/高斯分布(μ=0,σ=10)和均匀分布。你可以在模型的验证检查中重新校准这些值,如上面步骤3所述。

from pymc3 import Model, Normal, Uniformwith Model() as radon_model: 
  μ = Normal(’μ’, mu=0, sd=10) 
  σ = Uniform(’σ’, 0, 10)

下一步是用另一个概率分布来编译radon_model本身。

**with** radon_model:
  dist = Normal('dist', mu=μ, sd=σ, observed=anoka_radon)

第2步:用数据进行模型拟合

现在,我们需要用数据来拟合这个模型(即训练)。

from pymc3 import sample 
 
**with** radon_model: 
  samples = sample(1000, tune=1000, cores=2, random_seed=12)

让我们画出我们的参数μ在训练后的分布情况,同时画出95%的置信线。

from arviz import plot_posterior

plot_posterior(samples, var_names=['μ'], ref_val=1.1)

好吧,看来1.1的对数浓度可能不是那么糟糕,因为它是在分布的尾端(只有2.2%的样品的对数浓度大于1.1)。

来源:https://towardsdatascience.com/bayesian-statistical-programming-an-introduction-4ca3e2ddae76


觉得还不错就给我一个小小的鼓励吧!


数学基础——贝叶斯统计 贝叶斯统计的核心议题就是利用贝叶斯公式,通过抽样样本来估计样本的真实原本分布贝叶斯公式(逆概率公式):假设Bi是事件B的划分,那么PBi​∣APAPABi​​∑PA∣Bj​PBj​PA∣Bi​PBi​​,即在全概率公式的基础下,想求得在A事件发生的情况下,其前置事件是Bi(Bi发生)的概率,那么可以通过乘法定理,利用该事件条件概率算出联合概率,再用全概率算出发生A的概率,求出Bi的逆概率。 阅读详情

相关推荐

数理统计与数据科学:程序员的基础必修

数理统计不仅是数据科学的基石,也是程序员必须掌握的基础工具之一。通过深入理解和运用统计方法,程序员能够更好地分析数据、构建模型并做出更为科学的决策。随着技术的不断发展,数理统计的应用范围将越来越广,程序员应时刻保持学习的心态,跟进最新的研究成果和技术进展。

Sapphire521的博客 872

学习机器学习,究竟是理论重要,还是公式推导重要?

随着近几年机器学习的火爆,其从业门槛也越来越高,以至于出现面试者需要现场手推对数几率回归和手写反向传播代码的情况。不论是对机器学习本身的研究,还是岗位的需求,都需要我们对算法有很深的了解,...

图灵教育 2127

机器学习必备的统计学基础与实战应用

统计学是机器学习的基石,从数据理解到模型评估都依赖统计方法。描述统计帮助分析数据分布特征,概率分布构成算法理论基础,假设检验则为模型选择提供科学依据。在工程实践中,统计思维能有效应对数据偏移、小样本等挑战,提升模型鲁棒性。无论是特征工程中的相关性分析,还是深度学习中的Batch Normalization,统计方法都发挥着关键作用。掌握p值解读、抽样技术等核心概念,能避免常见的数据陷阱和模型谬误。对于机器学习从业者,统计知识不是可选技能,而是构建可靠AI系统的必备工具包。

weixin_30847939的博客 574

为什么贝叶斯统计如此重要?

↑↑↑关注后"星标"Datawhale每日干货&每月组队学习,不错过Datawhale干货译者:张峰,Datawhale成员即使对于一个非数据科学家来说,贝...

Datawhale 677

武汉大学数理统计课程核心考点与解题策略

数理统计作为现代数据分析的基础理论,通过概率模型和推断方法揭示数据内在规律。其核心方法论包括参数估计(如极大似然估计与贝叶斯估计)、假设检验(如似然比检验)以及回归分析等技术,在金融风控、生物医学等领域有广泛应用。以武汉大学研究生试题为例,课程特别强调EM算法收敛性证明、广义线性模型等进阶内容,其中贝叶斯估计中的共轭先验选取、假设检验的渐近分布推导等考点,既检验理论功底又考察工程实践能力。掌握这些统计方法需要理解算法原理(如ROC曲线构建)、熟悉矩阵运算技巧,并能结合R/Python等工具进行实际数据分析。

weixin_42620255的博客 317

贝叶斯统计——6. 贝叶斯统计计算方法

平稳性是指链的状态分布在经过足够长时间后保持不变的性质。一个马尔可夫链的平稳性取决于其概率转移矩阵和初始状态分布。具体来说,如果在马尔可夫链的状态分布经过多次转移后,达到的状态分布不再改变,那么对应的概率分布被称为平稳分布平稳分布(sta­tionary distribution):是指在马尔可夫链中存在一个稳定的概率分布,使得在经过足够长的时间后,马尔可夫链的状态分布不再改变,保持在该稳定分布下。简而言之,平稳分布是表示在长时间内系统的状态分布趋于稳定的概率分布。

三分钟热度 1495

贝叶斯统计bayes statistics

1,贝叶斯统计的关键特点:人们根据新的观测改变了对一个事件发生概率的信念(belief) 举例: 假设某天太阳没有升起,那么你很有可能觉得第二天太阳也不会升起。但如果第二天太阳又正常升起了,你对太阳会再次罢工的概率预期也会比之前高很多。这就是基于对事件的观测改变了自己对事件发生概率的信念。 大体的过程是:前期我们认为的一个事件发生的概率(先验概率,事件还未发生)-》新的观测-》我们更新了自己...

Hello Word! 7857

《通信工程施工与管理》

制作馈线接头必须使用专用的工具,专用工具包括:馈线切割刀、馈线安全刀、小金属丝毛刷、固定尺寸或大号活动扳手、小号扁锉刀、细齿小手锯、接头扩孔器、3M防水胶或防水接头盒;如图所示,详情如表所示。

2302_78710464的博客 1654

大数据进阶必修课!Spark实战贝叶斯分类算法

贝叶斯算法作为机器学习算法中非常重要的一个流派,无论在学术研究还是企业应用中都很受欢迎,学习本文不需要较强的概率论基础,在理论讲解的同时,从代码实战角度加强你的理解。

bazhaheigang的博客 854

鸿蒙OpenHarmony技术:【Docker编译环境】

OpenHarmony为开发者提供了两种Docker环境,以帮助开发者快速完成复杂的开发环境准备工作。独立Docker环境:适用于直接基于Ubuntu、Windows操作系统平台进行版本编译的场景。基于HPM的Docker环境:适用于使用HPM工具进行发行版编译的场景。点击或者复制转到。表1Docker镜像介绍系统类型运行平台Docker镜像仓库标签标准系统(独立Docker环境)3.2小型系统(独立Docker环境)3.2轻量系统(独立Docker环境)3.2。

m0_62167422的博客 1445

保姆级教程:用Docker快速部署mpromonet/webrtc-streamer实现WebRTC直播(附常见问题解决)

本文提供了一份详细的Docker部署mpromonet/webrtc-streamer的实战指南,帮助用户快速搭建WebRTC直播服务。内容涵盖从环境准备、基础部署到进阶配置与性能调优的全过程,并针对容器网络、视频流配置、跨网访问等常见问题提供了解决方案,旨在实现低延迟的流媒体传输。

dell8的博客 177

我转行数据自学的这几本统计学,内含视频教程

如何建立这个自学系统?这里参考下知乎上两位清华大佬辅修统计学的课表,并列出每门课程的综合评估推荐的书籍和资源。图片来源:zhihu.com/question/4282以下课程学习周期两个...

Pylady的博客 2002

倍福ADS通讯协议深度解析——从握手到数据包的完整旅程

本文以工程师视角,通过Wireshark抓包实战,深度解析了倍福ADS通讯协议的完整工作流程。从TCP三次握手建立连接,到拆解AMS/TCP信封、AMS Header地址与命令解析,再到ADS Data读写请求的载荷构成,完整呈现了一次数据通讯的“旅程”。文章重点剖析了协议包格式,并结合实际案例,提供了基于协议分析的故障排查思路,帮助开发者深入理解并精准调试工业自动化系统通讯。

weixin_29231725的博客 153

机器学习笔记之(2)——贝叶斯分类器

本博客为本人学习贝叶斯分类器的学习笔记。好,话不多说,直接进入正题。贝叶斯分类器其实就是基于贝叶斯决策理论的分类器。贝叶斯理论在大一的必修课概率论里面学过。一句话概况就是后验概率取决于先验概率与类条件概率密度。贝叶斯理论也是卡尔曼滤波理论的基础(后续我也打算再写一个卡尔曼滤波或粒子滤波方面的学习笔记)首先介绍统计学里面的两个学派:频率学派与贝叶斯学派。频率学派:强调概率的“客观性”,概率为客观随机...

gwpscut的博客 8579

海洋与地质地理信息数据下载网站汇总集锦

各种海洋与地质地理信息数据集合

qq_36980284的博客 1269

AI应用架构师总结:智能问答系统用户意图识别的8种方法与实践!

意图识别是智能问答系统的大脑入口,其技术水平决定了系统能否准确捕捉用户的核心诉求。本文系统剖析了从基础规则到前沿PLM的8种核心意图识别方法透明简单,冷启动快,维护成本高。中等规模场景基线,依赖特征工程。利用词义和局部/序列信息,训练成本高。当前最优精度,需大量资源。添加意图灵活,冷启动友好,精度可能略逊。提升鲁棒性,系统变复杂。解决歧义和自然交互的关键(多轮)。增强专业领域理解和推理能力。成功的意图识别模块需要:精准的意图定义(Schema)是前提!

AI云原生与云计算技术学院 1632

贝叶斯在淘宝

贝叶斯在淘宝 http://blog.netoearth.com/html/201012/%E8%B4%9D%E5%8F%B6%E6%96%AF%E5%9C%A8%E6%B7%98%E5%AE%9D.htm 随着电子商务的快速发展,淘宝的规模也逐渐壮大,淘宝在业界的影响力也越来越大。目前,淘宝网的日独立访问数已逾4000万,而注册的用户数现在已经达 到1.6...

WEBCODE 887

Zephyr、FreeRTOS 和 RT-Thread

你是…更适合用嵌入式新手,刚接触 RTOSFreeRTOS(入门简单)IoT 项目开发,需要 BLE/WiFi/MQTTZephyr(协议全)想快速构建可部署的产品Zephyr(模块统一)只做单个任务或简单状态机控制FreeRTOS(轻量)做平台化、持续集成、自动测试Zephyr(CI 支持强)

is0815的博客 2251

(全概率和贝叶斯公式) 期末考试专项突破:概率论与数理统计核心考点解析

恭喜你!坚持看到这里,说明你已经掌握了概率论与数理统计的核心解题思路!💪📚复习建议将本文知识点整理成思维导图。重点练习全概率和贝叶斯公式的应用题。多做真题,熟悉常见题型。🌟你的支持是我持续创作优质内容的最大动力!🚀相信自己,期末考试,你一定能行!加油,未来的数据科学家!📊✨。

吾为热爱计科,致力于知识分享的践行者,此博客是我在这条道路上留下的足迹。 909

实战指南:Qwen3-ASR-1.7B 语音识别

本文介绍了Qwen3-ASR语音识别模型的安装与使用。

举世誉之而不加劝,举世非之而不加沮,定乎内外之分,辩乎荣辱之境,斯已矣。 1810

efm32 入门.pdf

本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。

概率论与数理统计大作业_“概率论与数理统计A(混合式)”课堂开课啦!

点击上面“蓝字”关注,一起进步!同学们大家好呀,果果今天给大家带来一则重磅消息~北京科技大学“概率论与数理统计A(混合式)”学习课堂即将开课啦!历经两个学期的成功开设,概率混合课堂再次启航!混合式课堂???是不是乍一听有些懵,不慌,且听果果慢慢道来~混合式学习课堂是将在线教学和传统教学的优势结合起来的一种“线上”+“线下”的教学。通过两种教学组织形式的有机结合,学习者可以个性化定制学习计...

weixin_30386401的博客 445

华为的C语言编程规范.pdf

华为技术有限公司内部技术规范。本规范制定了编写C语言程序的基本原则、规则和建议。从代码的清晰、简洁、可测试、安全、程序效率、可移植各个方面对C语言编程作出了具体指导。

朴素贝叶斯模型:从特征独立性假设到改进策略实战

在机器学习领域,分类算法是处理文本分类、情感分析等任务的基础技术。其核心原理是通过学习特征与类别之间的概率关系,构建预测模型。特征条件独立性假设作为朴素贝叶斯分类器的关键简化手段,通过假设特征间相互独立,将高维联合概率估计分解为多个一维概率估计,从而有效克服维度灾难,实现了计算高效与模型简洁的技术价值。这一特性使其在垃圾邮件过滤、新闻分类等文本场景中成为高效的基线模型。然而,当面对特征间存在强交互或替代关系的复杂场景,如医疗诊断或金融风控时,该假设可能成为性能瓶颈。为此,业界发展出半朴素贝叶斯、贝叶斯网络等

weixin_30938149的博客 376

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

Outlook Express 6 (OE6) for Win7/Win8/Win10

英文版 Outlook Express6.0, 兼容Win7/Win10/WinXP,解压就可用。

矩阵分析学习指导_如何系统地学习统计学,指导入门数据分析

先介绍自己的情况,非统计学专业,大学经管类文科背景,但数学基础还行,高数上下期末满分,线代概率论期末90分以上,但是考完就忘依然说明不了什么,找工作的过程中老是被问到是不是统计学专业?统计学怎么样?最近在找完工作后,决定好好系统的自学下统计学。先从列书单开始。如何建立这个自学系统?很简单,找个统计学专业的专业课课表不就行了,但是专业的又太难,这里参考下知乎上两位清华大佬辅修统计学的课表,并列出每门...

weixin_39801356的博客 400
上一篇: 二本机械毕业2年,从外包ETL到大厂数据开发,月薪13K到年薪40W
下一篇: 普林斯顿博士:手写30个主流机器学习算法,全都开源了!
Wang_AI
博客等级 码龄12年 998粉丝 162原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值