用 Python 实现常用的假设检验

Python实战:基于DeLong检验的模型性能显著性差异分析 本文详细介绍了如何使用Python实现DeLong检验,用于分析机器学习模型性能的显著性差异。通过实战代码示例和结果解读,帮助开发者理解如何比较两个分类模型的AUC值,并判断其差异是否具有统计学意义。文章还提供了可视化方法和实际应用中的注意事项,适合数据科学家和机器学习工程师参考。 阅读详情
作者:求知鸟

来源:知乎

开门见山。

这篇文章,教大家用Python实现常用的假设检验!

服从什么分布,就用什么区间估计方式,也就就用什么检验!

比如:两个样本方差比服从F分布,区间估计就采用F分布计算临界值(从而得出置信区间),最终采用F检验。

建设检验的基本步骤:

前言

假设检验用到的Python工具包

  • Statsmodels是Python中,用于实现统计建模和计量经济学的工具包,主要包括描述统计、统计模型估计和统计推断

  • Scipy是一个数学、科学和工程计算Python工具包,主要包括统计,优化,整合,线性代数等等与科学计算有关的包

导入数据



from sklearn.datasets import load_irisimport numpy as np#导入IRIS数据集iris = load_iris()iris=pd.DataFrame(iris.data,columns=['sepal_length','sepal_width','petal_legth','petal_width'])print(iris)


一个总体均值的z检验

np.mean(iris['petal_legth'])'''原假设:鸢尾花花瓣平均长度是4.2备择假设:鸢尾花花瓣平均长度不是4.2
'''
import statsmodels.stats.weightstatsz, pval = statsmodels.stats.weightstats.ztest(iris['petal_legth'], value=4.2)print(z,pval)

'''P=0.002 <5%, 拒绝原假设,接受备则假设。'''


一个总体均值的t检验



import scipy.statst, pval = scipy.stats.ttest_1samp(iris['petal_legth'], popmean=4.0)print(t, pval)
'''P=0.0959 > 5%, 接受原假设,即花瓣长度为4.0。'''


模拟双样本t检验



#取两个样本iris_1 = iris[iris.petal_legth >= 2]iris_2 = iris[iris.petal_legth < 2]print(np.mean(iris_1['petal_legth']))print(np.mean(iris_2['petal_legth']))
'''H0: 两种鸢尾花花瓣长度一样H1: 两种鸢尾花花瓣长度不一样
'''
import scipy.statst, pval = scipy.stats.ttest_ind(iris_1['petal_legth'],iris_2['petal_legth'])print(t,pval)
'''p<0.05,拒绝H0,认为两种鸢尾花花瓣长度不一样'''


 练习

数据字段说明:

  • gender:性别,1为男性,2为女性

  • Temperature:体温

  • HeartRate:心率

  • 共130行,3列

  • 用到的数据链接:pan.baidu.com/s/1t4SKF6

本周需要解决的几个小问题:

1. 人体体温的总体均值是否为98.6华氏度?

2. 人体的温度是否服从正态分布?

3. 人体体温中存在的异常数据是哪些?

4. 男女体温是否存在明显差异?

5. 体温与心率间的相关性(强?弱?中等?)


1.1 探索数据



import numpy as npimport pandas as pdfrom scipy import statsdata = pd.read_csv("C:\\Users\\baihua\\Desktop\\test.csv")print(data.head())sample_size = data.size #130*3out:   Temperature  Gender  HeartRate0         96.3       1         701         96.7       1         712         96.9       1         743         97.0       1         804         97.1       1         73
print(data.describe())out: Temperature      Gender   HeartRatecount   130.000000  130.000000  130.000000mean     98.249231    1.500000   73.761538std       0.733183    0.501934    7.062077min      96.300000    1.000000   57.00000025%      97.800000    1.000000   69.00000050%      98.300000    1.500000   74.00000075%      98.700000    2.000000   79.000000max     100.800000    2.000000   89.000000
人体体温均值是98.249231


1.2 人体的温度是否服从正态分布?



'''人体的温度是否服从正态分布?先画出分布的直方图,然后使用scipy.stat.kstest函数进行判断。
'''%matplotlib inlineimport seaborn as snssns.distplot(data['Temperature'], color='b', bins=10, kde=True)




stats.kstest(data['Temperature'], 'norm')out:KstestResult(statistic=1.0, pvalue=0.0)'''p<0.05,不符合正态分布'''


判断是否服从t分布



'''判断是否服从t分布:
'''
np.random.seed(1)ks = stats.t.fit(data['Temperature'])df = ks[0]loc = ks[1]scale = ks[2]t_estm = stats.t.rvs(df=df, loc=loc, scale=scale, size=sample_size)stats.ks_2samp(data['Temperature'], t_estm)
'''
 pvalue=0.4321464176976891 <0.05,认为体温服从t分布'''


判断是否服从卡方分布



'''判断是否服从卡方分布:
'''np.random.seed(1)chi_square = stats.chi2.fit(data['Temperature'])df = chi_square[0]loc = chi_square[1]scale = chi_square[2]chi_estm = stats.chi2.rvs(df=df, loc=loc, scale=scale, size=sample_size)stats.ks_2samp(data['Temperature'], chi_estm)
'''pvalue=0.3956146564478842>0.05,认为体温服从卡方分布
'''


绘制卡方分布直方图



'''绘制卡方分布图
'''
from matplotlib import pyplot as pltplt.figure()data['Temperature'].plot(kind = 'kde')chi2_distribution = stats.chi2(chi_square[0], chi_square[1],chi_square[2])x = np.linspace(chi2_distribution.ppf(0.01), chi2_distribution.ppf(0.99), 100)plt.plot(x, chi2_distribution.pdf(x), c='orange')plt.xlabel('Human temperature')plt.title('temperature on chi_square', size=20)plt.legend(['test_data', 'chi_square'])



1.3 人体体温中存在的异常数据是哪些?



'''已知体温数据服从卡方分布的情况下,可以直接使用Python计算出P=0.025和P=0.925时(该函数使用单侧概率值)的分布值,在分布值两侧的数据属于小概率,认为是异常值。'''lower1=chi2_distribution.ppf(0.025)lower2=chi2_distribution.ppf(0.925)t=data['Temperature']print(t[t<lower1] )print(t[t>lower2])
out:
0     96.31     96.765    96.466    96.767    96.8Name: Temperature, dtype: float6463      99.464      99.5126     99.4127     99.9128    100.0129    100.8Name: Temperature, dtype: float64


1.4 男女体温差异是否显著



'''此题是一道两个总体均值之差的假设检验问题,因为是否存在差别并不涉及方向,所以是双侧检验。建立原假设和备择假设如下:H0:u1-u2 =0  没有显著差H1:u1-u2 != 0  有显著差别
'''data.groupby(['Gender']).size() #样本量65male_df = data.loc[data['Gender'] == 1]female_df = data.loc[data['Gender'] == 2]
'''使用Python自带的函数,P用的双侧累计概率'''

import scipy.statst, pval = scipy.stats.ttest_ind(male_df['Temperature'],female_df['Temperature'])print(t,pval)if pval > 0.05:    print('不能拒绝原假设,男女体温无明显差异。')else:    print('拒绝原假设,男女体温存在明显差异。')
out:-2.2854345381654984 0.02393188312240236拒绝原假设,男女体温存在明显差异。


1.5 体温与心率间的相关性(强?弱?中等?)



'''
体温与心率间的相关性(强?弱?中等?)
'''
heartrate_s = data['HeartRate']temperature_s = data['Temperature']from matplotlib import pyplot as pltplt.scatter(heartrate_s, temperature_s)




stat, p = stats.pearsonr(heartrate_s, temperature_s)print('stat=%.3f, p=%.3f' % (stat, p))print(stats.pearsonr(heartrate_s, temperature_s))
'''相关系数为0.004,可以认为二者之间没有相关性
'''
------end------

检验两个ROC曲线的差异是否具有统计显著性(Python) ROC曲线可以帮助我们理解分类器在不同阈值下的性能,并比较不同分类器的性能。然而,当我们比较两个ROC曲线时,我们也希望知道它们之间的差异是否具有统计显著性。根据Wilcoxon秩和检验的结果,如果p-value小于我们选择的显著性水平(通常是0.05),则我们可以拒绝原假设,即两个ROC曲线没有显著差异。否则,如果p-value大于显著性水平,则我们无法拒绝原假设,即两个ROC曲线之间的差异不具有统计显著性。通过以上步骤,我们可以使用Python检验两个ROC曲线的差异是否具有统计显著性。 阅读详情

相关推荐

基于STM32的智能停车场管理系统

随着城市车辆数量激增,传统停车场管理效率低下。本文设计了一款基于STM32的智能停车场管理系统,支持车牌识别、车位引导、自动计费等功能,可显著提升停车场运营效率。系统适用于商场、小区等场景,支持多终端协同管理。本系统实现了停车场智能化管理,显著提升了运营效率。:STM32F746(高性能Cortex-M7)问题讨论,stm32的资料领取可以私信!:OV7725摄像头(30fps):ESP32(Wi-Fi+蓝牙)红外对射传感器(车辆进出检测)支持蓝牌、黄牌、新能源车牌。⬇帮大家整理了单片机的资料。

stm32d1219的博客 879

Python实现常用的假设检验 !

开门见山。这篇文章,教大家用Python实现常用的假设检验!服从什么分布,就用什么区间估计方式,也就就用什么检验!比如:两个样本方差比服从F分布,区间估计就采用F分布计算临界值(从而得出...

SeizeeveryDay的博客 1073

基于STM32的双串口同时工作的详细指南(含完整代码示例)

STM32是STMicroelectronics(意法半导体)公司推出的一系列基于ARM Cortex-M内核的微控制器,广泛应用于嵌入式系统中。STM32系列微控制器具有高性能、低功耗和丰富的外设接口,适用于各种应用场景。USART(Universal Synchronous/Asynchronous Receiver/Transmitter)和UART(Universal Asynchronous Receiver/Transmitter)是串口通信的两种方式。

m0_57781768的博客 3806

Python笔记-假设检验之双样本T检验(两样本是否相似)

概念 双样本T检验在于检验两个样本均值差异是否显著。比如男女消费是否显著。 Python代码 逻辑: ①构造2个样本; ②先进行方差齐性检查,我们规定一个阈值,这2个样本方差齐性的p-value大于0.05说明满足方差相等,可以进行双样本T检验; ③进行双样本T检验,p值越大说明消费水平越相同,一般认为p大于0.05说明没啥差异(两样本比较相似),当p小于0.05说明有差异(两样本差距比较大); 代码如下: from scipy import stats list1 = [121

IT1995的博客 1万+

为什么BGA焊点总在四个角先坏?一次热-振耦合仿真给你讲明白

本文通过Ansys Workbench进行热-振耦合仿真,深入分析了BGA焊点在四个角点先失效的机理。研究发现,角点焊点由于CTE失配、振动载荷放大及几何应力集中等因素,承受的等效塑性应变和动态应力显著高于中心区域,导致其疲劳寿命大幅降低。仿真数据揭示了角点焊点的应力分布和蠕变特性,为电子封装可靠性设计提供了重要依据。

weixin_42535461的博客 439

Cass三角网法土方计算优化技巧:如何根据地形特点调整边界采样间距

本文深入探讨了Cass软件中三角网法(DTM法)土方计算的优化技巧,核心在于如何根据地形的复杂程度动态调整边界采样间距。针对平坦、复杂及人工构造物等不同地形特征,提供了具体的间距调整策略与精度验证方法,旨在帮助工程师在计算精度与效率间找到最佳平衡,实现精细化土方计算。

weixin_29294975的博客 526

python统计函数库scipy.stats的用法1/3

背景总结统计工作中几个常用用法在python统计函数库scipy.stats的使用范例。正态分布的几个范例 生成服从指定分布的随机数 norm.rvs通过loc和scale参数可以指定随机变量的偏移和缩放参数,这里对应的是正态分布的期望和标准差。size得到随机数数组的形状参数。(也可以使用np.random.normal(loc=0.0, scale=1.0, size=None)) In

潜水的飞鱼baby 6万+

Python 爬虫实战:就业市场趋势数据抓取与行业洞察

在当今竞争激烈的就业市场中,了解行业趋势和就业形势对于求职者、学生以及人力资源专业人士来说至关重要。通过获取和分析就业市场数据,我们可以深入了解不同行业的招聘需求、薪资水平、技能要求等关键信息,从而为职业规划和人才发展提供有力支持。

yansideyucsdn的博客 1407

【小沐学NLP】Python进行统计假设检验

什么是假设检验?统计学有两个推断统计方法,一个是参数估计,另一个是假设检验。参数估计用样本统计量来推断总体参数的方法假设检验是基于某一假设的前提下,同样利用样本统计量去检验这个假设是否成立。╮( ̄▽ ̄)╭如果您感觉方法或代码不咋地//(ㄒoㄒ)//,就在评论处留言,作者继续改进;o_O???如果您需要相关功能的代码定制化开发,可以留言私信作者;(✿◡‿◡)!!

爱看书的小沐 2133

YOLO11-pose关键点检测:训练实战篇 | 自己数据集从labelme标注到生成yolo格式的关键点数据以及训练教程

教会你如何用自己的数据集转换成对应格式的数据集以及如何训练YOLO11-pose关键点检测

①答疑群聊服务;②YOLO大模型知识问答系统;③计算机视觉论文生成智能体; 5421

高通camx进程ExtensionModule::TeardownOverrideSession类型crash问题分析之一:【死锁导致】

摘要:本文分析了一个在相机老化测试中出现的pthread_cond_wait持锁超时导致的ExtensionModule::TeardownOverrideSession崩溃问题。通过crash堆栈和日志分析,发现close阶段存在近1分钟的无响应期。进一步分析trace文件发现存在多线程死锁:ChiFeature2Graph::GenerateSmartErrorCode和ChiFeature2RequestObject::SetCurRequestState两个线程分别持有不同锁并互相等待对方释放。最终

1111

python123第七周作业_第七周作业-使用Python实现抽样分布的验证(正态分布、卡方分布、T分布等)...

1.验证数据是否服从正态分布?import pandas as pdimport numpy as nppath = 'E:\\english\\data.xlsx'data=pd.read_excel(path)######按照港口分类,计算数据的统计量embark = data.groupby(['Embarked'])embark_basic=data.groupby(['Embarked'...

weixin_39977586的博客 397

IEEE Journal of Biomedical and Health Informatics(JBHI)投稿经验分享

《IEEE Journal of Biomedical and Health Informatics投稿经验分享》详细记录了在影响因子6.7的中科院一区期刊JBHI的投稿历程(2025.1-5月,历时4个月)。文章重点分析:1)审稿特色:4位审稿人差异显著,领域专家意见专业但要求严苛;2)修改要点:需重视大修(补充实验/原理阐述),并注意将回复内容同步至正文;3)期刊特点:送审率高但审稿严格,常规投稿周期约4-5个月;4)实用建议:建议首次大修全力以赴,善用AI工具辅助写作,避免拖延。

LiRongLu_的博客 5100

python如何检验显著性差异_基于python的显著性检验

需要用到numpy库import numpy as npimport scipy.stats as statsimport scipy.optimize as opt首先我们来创造两个数组作为测试数据n = 200norm_dist = stats.norm(loc=0.5, scale=10) #构造一个正态分布,均值为0.5,标准差为10 “标准差”也称“均方差”,是“方差”开根号dat ...

weixin_39805180的博客 4754

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

pscad IEEE标准系统搭建说明

pscad IEEE标准系统搭建说明,包含典型的IEEE 9节点、14节点、30节点、39节点和118节点系统。内含标准测试系统的原始数据和潮流结果。

python绘制带有显著性差异的柱状图

有的时候看文献会发现柱状图上标记有不同的字母,这其实是使用字母表示法来代表不同组之间的差异,不同的字母表示具有显著性的差异,相同的字母表示没有显著性差异。2、进行多重比较:如果ANOVA结果表明组间存在显著性差异,接下来进行多重比较测试,以确定哪些具体的组之间存在差异。字母标记法直观、清晰,可以有效地在图表或表格中展示复杂的比较结果,使得读者能够快速理解哪些组之间存在显著性差异。1、进行统计测试:首先,对数据进行适当的统计测试(如ANOVA),以确定组间是否存在显著性差异。

pengbr的博客 9672

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

python 显著性差异_python matplotlib 标注 统计差异 显著性 *

画柱状图时会遇到添加显著性标记的问题,因为matplotlib没有自带的接口,所以只好自己画了一个主要思路是用plot画标注框线,用annotate标注。具体应用的时候需要根据柱状图的位置,调整x和y的坐标import numpy as np #使用import导入模块numpy,并简写成npimport matplotlib.pyplot as plt #使...

weixin_42298437的博客 3596

python如何检验显著性差异_[Python] 如何证明两组样本有显著性差异(t-test假设检验) | 学步园...

现有两组样本数据,假如它们分别基于两套不同的方法,或者测于不同的设备,又或是出自两个人之手,如何证明它们有或没有显著性差别呢?当然可以拿个Excel表把数据画个图,然后找一堆人来投票,看觉得差不多还是觉得差得多的人哪方票数高。但终归这种做法有些主观,不够说明力。概率统计给出了一种更为客观的基于统计的方法,这里是一个Python的实现:#!/usr/bin/python# Paired differ...

weixin_39816024的博客 3052

python t检验显著差异_基于python的显著性检验

需要用到numpy库import numpy as npimport scipy.stats as statsimport scipy.optimize as opt首先我们来创造两个数组作为测试数据n = 200norm_dist = stats.norm(loc=0.5, scale=10) #构造一个正态分布,均值为0.5,标准差为10 “标准差”也称“均方差”,是“方差”开根号dat ...

weixin_39570838的博客 2040

Python 如何比较两个Series是否存在显著性差异?他们的长度不一样

在Python中,比较两个长度不同的Series是否存在显著性差异,可以使用统计检验方法,如独立样本t检验(Independent t-test)或Mann-Whitney U检验(适用于非正态分布数据)。

Kp0fS的草稿纸 712

Python 计算两个序列之间差异的显著性水平检验

###################################################尝试显著性检验 ## 把2月份和3月份 # 从整体上来看,先看边界层高度的情况 # 整理气象数据 # 读数据 import netCDF4 as nc import pandas as pd import numpy as np file1 = r'C:\Users\LHW\Desktop\Hubei task120210918\meteology\adaptor.mars.internal-163198

weixin_45577825的博客 2193

python 显著性差异_数据分析|回归分析(R&Python)

0X01 前言变量之间关系可以分为两类:函数关系:反映了事务之间某种确定性关系相关关系:两个变量之间存在某种依存关系,但二者并不是一一对应的;反映了事务间不完全确定关系;相关系数(r)可以衡量这种相关关系。r的取值范围是[-1,1],r=1表示完全正相关!r=-1表示完全负相关!r=0表示完全不相关。为什么要对相关系数进行显著性检验?1)实际上完全没有关系的变量,在利用样本数据进行计算时也可能得...

weixin_40004051的博客 2317

[Python] 如何证明两组样本有显著性差异(t-test假设检验)

原文地址:http://blog.youkuaiyun.com/ariesjzj/article/details/7546930   现有两组样本数据,假如它们分别基于两套不同的方法,或者测于不同的设备,又或是出自两个人之手,如何证明它们有或没有显著性差别呢?当然可以拿个Excel表把数据画个图,然后找一堆人来投票,看觉得差不多还是觉得差得多的人哪方票数高。但终归这种做法有些主观,不够说明力。概率统计给出

世事难料,保持低调 4万+

python差异性分析_能用SPSS进行差异显著性分析吗

请问能用SPSS进行差异显著性分析吗? 具体用哪个命令啊?如果不行,还有其他办法进行差异分析吗?比如说我有几组数据:一组是空白对照 ,另外几组是不同浓度的处理组,我想对各个处理组与空白组进行差异分析,用哪个命令,如何分析最好呢?可以,根据你要比较的对象,选用不同的方法。analyze-comparemeans或者analyze-general linear model有不同的子菜单,用哪一个,需要...

weixin_39656686的博客 1618

python 显著性差异_Python数据分析基础|方差分析

之前我们曾经讲过用Python做t检验,它用于分析一组数据与另一组数据或者总体均值之间的均值差异,从而判断它们是否来自于同一个总体。我会分享大量关于网页抓取、数据分析与挖掘、机器学习还有可视化等方面的知识,欢迎感兴趣的同学关注我!但是t检验有它的局限性,它无法应对多个因子变量以及因子变量有多个水平(大于2)的情况。这时,我们就需要使用方差分析了。方差分析的目的是分析因子对反应变量有无显著影响,即因...

weixin_33901087的博客 3567

python 显著性差异_比萨斜塔——统计显著性检验

Dataset比萨斜塔是意大利最大的旅游景点之一。几百年来这座塔慢慢靠向一边,最终达到5.5度的倾斜角度,在顶端水平偏离了近3米。年度数据pisa.csv文件记录了从1975年到1987年测量塔的倾斜,其中lean代表了偏离的角度。在这个任务,我们将尝试使用线性回归来估计倾斜率以及解释其系数和统计数据。# 读取数据import pandasimport matplotlib.pyplot as p...

weixin_39975744的博客 1294

python如何检验显著性差异分析_如何在Python中比较不同二元分类器的ROC-AUC分数并评估统计显著性?(P值,置信区间)...

95%置信区间的引导您需要对数据的多个重采样重复分析。在一般情况下,假设您有一个函数f(x),该函数确定您需要从数据x获得的任何统计信息,您可以这样引导:def bootstrap(x, f, nsamples=1000):stats = [f(x[np.random.randint(x.shape[0], size=x.shape[0])]) for _ in range(nsamples)]r...

weixin_36374366的博客 2878
上一篇: 适合 Python 入门的 8 款强大工具!
下一篇: 太赞了!《Python知识手册》更新到v2.2版
Wang_AI
博客等级 码龄12年 998粉丝 162原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值