『统计学』常用的数据分析方法都在这了!Part.2

常用的统计分析方法 分析方法 频率分析 主要用于查看数据基本分布特征,数据清晰,各种统计量、基本报告数据源等 数据探索 探索性分析主要是从统计的角度查看统计量来评估数据分布,主要用于异常值侦测、正态分布检验、数据分段、分位点测算等 交叉表分析 交叉分析、是市场研究的主要工作,大部分研究分析均使用,主要用于分析报告和分析数据源,各种图表等,当然其中也有卡方检验和T检验,寻找差异 表(Table)分析 类似于Excel的数据透视表,连续数据和离散数据均可使用,也可以用作卡方检验和T检验 卡方检验 它属于非参数检验的范畴,主要是比较 阅读详情

阿平 | 作者

知乎 | 来源


1

相关分析

研究现象之间是否存在某种依存关系,对具体有依存关系的现象探讨相关方向及相关程度。

  • 单相关:两个因素之间的相关关系叫单相关,即研究时只涉及一个自变量和一个因变量

  • 复相关 :三个或三个以上因素的相关关系叫复相关,即研究时涉及两个或两个以上的自变量和因变量相关

  • 偏相关:在某一现象与多种现象相关的场合,当假定其他变量不变时,其中两个变量之间的相关关系称为偏相关

2

主成分分析


主成分分析(Principal Component Analysis,PCA), 是一种统计方法。通过正交变换将一组可能存在相关性的变量转换为一组线性不相关的变量,转换后的这组变量叫主成分。

主成分分析首先是由K.皮尔森(Karl Pearson)对非随机变量引入的,尔后H.霍特林将此方法推广到随机向量的情形。信息的大小通常用离差平方和或方差来衡量。

1. 原理

在用统计分析方法研究多变量的课题时,变量个数太多就会增加课题的复杂性。人们自然希望变量个数较少而得到的信息较多。在很多情形,变量之间是有一定的相关关系的,当两个变量之间有一定相关关系时,可以解释为这两个变量反映此课题的信息有一定的重叠。

主成分分析是对于原先提出的所有变量,将重复的变量(关系紧密的变量)删去多余,建立尽可能少的新变量,使得这些新变量是两两不相关的,而且这些新变量在反映课题的信息方面尽可能保持原有的信息。

设法将原来变量重新组合成一组新的互相无关的几个综合变量,同时根据实际需要从中可以取出几个较少的综合变量尽可能多地反映原来变量的信息的统计方法叫做主成分分析或称主分量分析,也是数学上用来降维的一种方法。

2. 缺点

在主成分分析中,我们首先应保证所提取的前几个主成分的累计贡献率达到一个较高的水平(即变量降维后的信息量须保持在一个较高水平上),其次对这些被提取的主成分必须都能够给出符合实际背景和意义的解释(否则主成分将空有信息量而无实际含义)。

主成分的解释其含义一般多少带有点模糊性,不像原始变量的含义那么清楚、确切,这是变量降维过程中不得不付出的代价。因此,提取的主成分个数m通常应明显小于原始变量个数p(除非p本身较小),否则维数降低的“利”可能抵不过主成分含义不如原始变量清楚的“弊”。

3

因子分析

一种旨在寻找隐藏在多变量数据中、无法直接观察到却影响或支配可测变量的潜在因子、并估计潜在因子对可测变量的影响程度以及潜在因子之间的相关性的一种多元统计分析方法。

1. 与主成分分析比较

  • 相同:都能够起到治理多个原始变量内在结构关系的作用

  • 不同:主成分分析重在综合原始变适的信息;而因子分析重在解释原始变量间的关系,是比主成分分析更深入的一种多元统计方法

2. 用途

  • 减少分析变量个数

  • 通过对变量间相关关系探测,将原始变量进行分类

4

信度分析

信度(Reliability)即可靠性,它是指采用同样的方法对同一对象重复测量时所得结果的一致性程度。信度指标多以相关系数表示,大致可分为三类:稳定系数(跨时间的一致性),等值系数(跨形式的一致性)和内在一致性系数(跨项目的一致性)。信度分析的方法主要有以下四种:重测信度法、复本信度法、折半信度法、α信度系数法。

1. 方法

 重测信度法编辑 

这一方法是用同样的问卷对同一组被调查者间隔一定时间重复施测,计算两次施测结果的相关系数。显然,重测信度属于稳定系数。

重测信度法特别适用于事实式问卷,如性别、出生年月等在两次施测中不应有任何差异,大多数被调查者的兴趣、爱好、习惯等在短时间内也不会有十分明显的变化。如果没有突发事件导致被调查者的态度、意见突变,这种方法也适用于态度、意见式问卷。

由于重测信度法需要对同一样本试测两次,被调查者容易受到各种事件、活动和他人的影响,而且间隔时间长短也有一定限制,因此在实施中有一定困难。

 复本信度法编辑 

让同一组被调查者一次填答两份问卷复本,计算两个复本的相关系数。复本信度属于等值系数。

复本信度法要求两个复本除表述方式不同外,在内容、格式、难度和对应题项的提问方向等方面要完全一致,而在实际调查中,很难使调查问卷达到这种要求,因此采用这种方法者较少。

 折半信度法编辑 

折半信度法是将调查项目分为两半,计算两半得分的相关系数,进而估计整个量表的信度。折半信度属于内在一致性系数,测量的是两半题项得分间的一致性。

这种方法一般不适用于事实式问卷(如年龄与性别无法相比),常用于态度、意见式问卷的信度分析。

在问卷调查中,态度测量最常见的形式是5级李克特(Likert)量表(李克特量表(Likert scale)是属评分加总式量表最常用的一种,属同一构念的这些项目是用加总方式来计分,单独或个别项目是无意义的。它是由美国社会心理学家李克特于1932年在原有的总加量表基础上改进而成的。该量表由一组陈述组成,每一陈述有"非常同意"、"同意"、"不一定"、"不同意"、"非常不同意"五种回答,分别记为5、4、3、2、1,每个被调查者的态度总分就是他对各道题的回答所得分数的加总,这一总分可说明他的态度强弱或他在这一量表上的不同状态。)。

进行折半信度分析时,如果量表中含有反意题项,应先将反意题项的得分作逆向处理,以保证各题项得分方向的一致性,然后将全部题项按奇偶或前后分为尽可能相等的两半,计算二者的相关系数(rhh,即半个量表的信度系数),最后用斯皮尔曼-布朗(Spearman-Brown)公式:求出整个量表的信度系数(ru)

 α信度系数法 

α信度系数是目前最常用的信度系数,其公式为:α=(k/(k-1))*(1-(∑Si^2)/ST^2)

其中,K为量表中题项的总数, Si^2为第i题得分的题内方差, ST^2为全部题项总得分的方差。从公式中可以看出,α系数评价的是量表中各题项得分间的一致性,属于内在一致性系数。这种方法适用于态度、意见式问卷(量表)的信度分析。

总量表的信度系数最好在0.8以上,0.7-0.8之间可以接受;分量表的信度系数最好在0.7以上,0.6-0.7还可以接受。Cronbach 's alpha系数如果在0.6以下就要考虑重新编问卷。用于检査测量的可信度,例如调查问卷的真实性。

2. 分类

  • 外在信度:不同时间测量时量表的一致性程度,常用方法重测信度

  • 内在信度:每个量表是否测量到单一的概念,同时组成两表的内在体项一致性如何,常用方法分半信度

5

列联表分析

列联表是观测数据按两个或更多属性(定性变量)分类时所列出的频数表。

1. 简介

若总体中的个体可按两个属性A、B分类,A有r个等级A1,A2,…,Ar,B有c个等级B1,B2,…,Bc,从总体中抽取大小为n的样本,设其中有nij个个体的属性属于等级Ai和Bj,nij称为频数,将r×c个nij排列为一个r行c列的二维列联表,简称r×c表。若所考虑的属性多于两个,也可按类似的方式作出列联表,称为多维列联表。

列联表又称交互分类表,所谓交互分类,是指同时依据两个变量的值,将所研究的个案分类。交互分类的目的是将两变量分组,然后比较各组的分布状况,以寻找变量间的关系。用于分析离散变量或定型变量之间是否存在相关。

列联表分析的基本问题是,判明所考察的各属性之间有无关联,即是否独立。

如在前例中,问题是:一个人是否色盲与其性别是否有关?在r×с表中,若以pi、pj和pij分别表示总体中的个体属于等级Ai,属于等级Bj和同时属于Ai、Bj的概率(pi,pj称边缘概率,pij称格概率),“A、B两属性无关联”的假设可以表述为H0:pij=pi·pj,(i=1,2,…,r;j=1,2,…,с),未知参数pij、pi、pj的最大似然估计(见点估计)分别为行和及列和(统称边缘和)为样本大小。根据K.皮尔森(1904)的拟合优度检验或似然比检验(见假设检验),当h0成立,且一切pi>0和pj>0时,统计量的渐近分布是自由度为(r-1)(с-1) 的Ⅹ分布,式中Eij=(ni·nj)/n称为期望频数。当n足够大,且表中各格的Eij都不太小时,可以据此对h0作检验:若Ⅹ值足够大,就拒绝假设h0,即认为A与B有关联。在前面的色觉问题中,曾按此检验,判定出性别与色觉之间存在某种关联。


2. 需要注意

若样本大小n不很大,则上述基于渐近分布的方法就不适用。对此,在四格表情形,R.A.费希尔(1935)提出了一种适用于所有n的精确检验法。其思想是在固定各边缘和的条件下,根据超几何分布(见概率分布),可以计算观测频数出现任意一种特定排列的条件概率。把实际出现的观测频数排列,以及比它呈现更多关联迹象的所有可能排列的条件概率都算出来并相加,若所得结果小于给定的显著性水平,则判定所考虑的两个属性存在关联,从而拒绝h0。

对于二维表,可进行卡方检验;对于三维表,可作Mentel-Hanszel分层分析。

列联表分析还包括配对计数资料的卡方检验、行列均为顺序变量的相关检验。

- END -

本文为转载分享&推荐阅读,若侵权请联系后台删除

●Python数据可视化教程实战!

●取数,取数,取个屁啊!

后台回复“入群”即可加入小z数据干货交流群
10个统计分析方法 为什么要学习统计学习?首先,为了知道如何以及何时使用各种分析方法,理解各种分析方法背后的思想很重要。要想掌握更精巧复杂的方法,你必须先理解较简单的方法;其次,当你想准确地评估一种分析方法的效果时,你得知道其运行的多好或者多么不好;第三,这是一个令人兴奋的研究领域,在科学、业界和金融领域有重要的应用。最后,统计学习也是一名现代数据科学家的重要素养。1)线性回归在统计学中,线性回归是一种通过拟合因变量... 阅读详情

相关推荐

Part 1 数据分析概述与职业操守(占比3%)

可以认为数据分析涉及到公司运营的方方面面,这包括对企业部门经营情况的评估、内部员工的管理、生产流程的监管、产品结构优化与新产品开发、财务成本优化、市场结构的分析和客户关系的管理。企业在收集用户的个人信息之前,必须向用户说明:将收集用户的哪些信息、收集到的信息将如何进行存储、存储的信息会如何使用、企业的联系方式等等。,包含业务理解、数据采集、数据清洗、数据探索、数据可视化、数据建模、模型结果可视化、分析结果的业务应用等步骤在内的一整套分析流程。:是以数据为分析对象,以探索数据内的有用信息为主要途径,

qq_43146264的博客 1827

机器学习数据预处理—统计分析方法

依据研究对象(样品或指标)的特征,对其进行分类的方法,减少研究对象的数目。各类事物缺乏可靠的历史资料,无法确定共有多少类别,目的是将性质相近事物归入一类。各指标之间具有一定的相关关系。变量类型:定类变量、定量(离散和连续)变量样本个体或指标变量按其具有的特性进行分类,寻找合理的度量事物相似性的统计量。

mnwl12_0的博客 3104

PART 1 数据分析概念与职业操守

一、数据分析的基本概念 1⃣️定义数据分析就是利用数据来做理性思考和决策的过程。 2⃣️ 分类 · 数据分析 以数据为分析对象,以探索数据内的有用信息为主要途径,以解决业务需求为最终目标。 · 数据挖掘 一个跨学科的计算机科学分支,它使用人工智能、机器学习、统计学和数据库的交叉方法在相对较大型的数据集中发现模式的计算过程。 3⃣️ 数字化工作 EDIT数字化模型: 探索➡️指标体系 诊断➡️性质分析法,数量分析法(即定性分析、定量分析) 指导➡️知识库、策略库、

m0_62231337的博客 1344

一文读懂数据分析常用的6种方法

聚类分析是一种无监督学习的方法,用于将数据集中的对象分成不同的组或簇,使得同一组内的对象相似度较高,而不同组之间的相似度较低。总之,相关分析是一种重要的数据分析方法,它可以帮助我们深入了解变量之间的关系,为决策提供有力的支持。在进行相关分析时,我们需要注意数据的收集和整理,选择合适的相关系数进行计算,并结合其他分析方法进行综合分析。总之,方差分析是一种常用的统计方法,用于比较多个样本均值之间的差异是否显著,可以帮助我们了解不同因素对样本均值的影响程度。回归分析是一种统计学方法,用于研究变量之间的关系。

qq_39172059的博客 6220

CDA LevelⅠ→Part 1 数据分析概述与职业操守

CDA

YZWDZDD的博客 998

20应用统计考研复试要点(part4)--统计学

学习笔记,仅供参考,有错必纠 具体原理:分类数据分析 贾俊平统计学 分类数据分析 卡方检验 卡方检验是对分类数据的频数进行分析的统计方法。 卡方统计量 χ2=∑(f0−fe)2fe \chi^2 = \sum \frac{(f_0-f_e)^2}{f_e} χ2=∑fe​(f0​−fe​)2​ 拟合优度检验 拟合优度检验是用卡方统计量进行统计显著性检验的重要内容之一。它是依据总体...

小山羊的学习日志 1039

【统计分析】数据科学必备知识之:统计学基础

数据科学必备知识之:统计学基础

商务合作 | 面试培训 | 职场规划 ==>主页扫码 3447

Seurat 单细胞转录组测序数据分析教程(三)——python(scanpy)

文章参考至,做了一个更详细的解读。本教程探讨了 scanpy 的可视化可能性,分为三个部分:嵌入的散点图(例如 UMAP、t-SNE)使用已知标记基因鉴定簇差异表达基因的可视化在本教程中,我们将使用来自 10x 的数据集,其中包含来自PBMC的 68k 个细胞。Scanpy 在其分布中包括该数据集的简化样本,该数据集仅包含 700 个细胞和 765 个高度可变的基因。该数据集已经过预处理和 UMAP 计算。在本教程中,我们还将使用以下文献标记:B细胞:CD79A、MS4A1。

coffeeii的博客 5829

『统计学 x 数据分析』常用方法盘点 Part.1

阿平 | 作者知乎 |来源1聚类分析聚类与分类的不同在于,聚类所要求划分的类是未知的。聚类分析是一种探索性的分析,在分类的过程中,人们不必事先给出一个分类的标准,聚类分析能够从样本数据...

SeizeeveryDay的博客 1366

Fluent DPM模型保姆级教程:三通管颗粒流动模拟,从网格导入到轨迹图生成

本文提供Fluent DPM模型在三通管颗粒流动模拟中的保姆级教程,涵盖从网格导入到轨迹图生成的全流程。通过详细步骤和参数设置,帮助用户掌握DPM模型在颗粒流动模拟中的关键技巧,适用于化工、能源等领域的工程应用。

weixin_30615767的博客 582

c语言:读取文件中的指定内容

项目中要求从wifi的状态文件中提取出rssi字段的值,还有一个前提条件:必须与hwaddr(手机的MAC地址)一一对应。 wifi状态文件sta_info如下: # cat /proc/wlan0-vap0/sta_info -- STA info table -- (active: 1) 1: stat_info... state: 405 AuthAlgrthm: 0

u013485792的专栏 1万+

CDA_level01_PART 1 数据分析概述及统计学基础

PART 1 数据分析概述及统计学基础 一、数据分析概述 二、描述性统计分析 三、推断性统计分析-抽样分布及参数估计 四、推断性统计分析 - 假设检验 五、方差分析 六、⼀元线性回归分析 七、机器学习的基本概念

qq_46426207的博客 923

uniapp - 获取设备麦克风权限+麦克风设备列表,用户可选择切换麦克风设备功能,选择麦克风采集设备后点击录制音频外部声音+可随时暂停/继续录音+记录音频录制时长(支持在线播放试听或下载MP3文件)

uniapp获取麦克风设备列表,uniapp录制声音,Uniapp获取麦克风权限,uniapp苹果ios安卓app获取麦克风设备列表,Uniapp H5获取浏览器麦克风并实现录音,Uniapp实现麦克风权限管理与音频录制全流程,uni-app实战案例:实现H5页面麦克风权限获取与录音功能,uni-app音频录制,uniapp麦克风授权窗口,uniapp获取iOS麦克风权限,实现前端录音并播放,把音频传给后端接口处理,获取麦克风并实现录音功能,前端获取/切换麦克风播放采集音频和采集音量大小,前端调用麦克风实现

🏆 前端领域优质创作者 2984

数据分析系列 4/32 | 数据分析必知统计学

对于想入门学习数据分析的同学来说,大家基本都知道数据分析指用适当的统计分析方法对收集来的大量数据进行分析,提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。那我们今天就来聊一下统计的相关内容。 PART 01 统计及其应用领域 1)什么是统计学 统计学(statistics)是收集、处理、分析、解释数据并从数据中得出结论的科学。 数据分析...

数据之魅的博客 797

字符编码——简体中文编码中区位码、国标码、内码、外码、字形码的区别及关系

目录区位码国标码(交换码)内码(机内码)区位码、国际码、内码的转换为什么要加上20H为什么加上80H 本文以GB2312为例,讲述区位码、国标码、内码、外码、字形码 区位码 整个GB2312字符集分成94个区,每区有94个位,每个区位上只有一个字符,即每区含有94个汉字或符号,用所在的区和位来对字符进行编码(实际上就是字符编号、码点编号),因此称为区位码。 换言之,GB2312将包括汉字在内的所有字符编入一个94 * 94的二维表,行就是“区”、列就是“位”,每个字符由区、位唯一定位,其对应的区、位编号合并

路人coder 5343

深入详细分析Skyworks 78113 PAMiD射频方案图

是一种高集成度的射频前端模块,它结合了功率放大器(PA)、双工器(Duplexer)、滤波器和开关等多个组件,主要用于4G LTE移动通信系统中的射频前端链路。是一款典型的PAMiD模块,通过将多个频段的发射(TX)和接收(RX)路径集成在一个模块中,大大减少了传统射频设计中的分立器件,同时提高了信号链路的效率和可靠性。模块化设计的优势PCB空间优化:高集成度设计大幅减小了射频电路的尺寸,适用于紧凑型移动设备。减少设计复杂度:模块化设计减少了器件间的匹配与调试工作,加速产品开发周期。性能稳定性。

weixin_43199439的博客 1482

数据分析-PART 7--数据分析工具网站书籍

数据分析-PART0--数据分析综合 数据分析-PART1--数据获取和步骤 数据分析-PART2--10大数据分析模型 数据分析-PART3--数据分析常用指标 数据分析-PART4--数据分析方法 数据分析-PART5--数据分析可视化 数据分析-PART6--数据分析能力培养 数据分析-PART 7--数据分析工具网站书籍 20款国内数据分析工具 国内的数据分析工具大多...

女王の专属领地 2930

SAP MD09 事务码中的物料需求追溯详解

物料需求追溯是指在物料需求计划中,追踪特定物料的需求来源和满足方式的过程。它帮助企业确定每个需求(如销售订单、独立需求、预留等)是由哪些供应元素(如库存、生产订单、采购订单等)来满足的。通过这种追溯,企业可以了解需求和供应之间的关系,从而优化生产和采购计划,减少库存积压,提升供应链效率。

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 1197

数据分析求职-统计学知识Part2

数据分析-统计学知识Part2

Victor_wzl的博客 867

手把手教你学Simulink——基于Simulink的隔离型DC-DC全桥变换器移相控制建模示例

本文详细介绍了基于Simulink的全桥移相变换器(PSFB)建模与控制方法。首先分析了全桥移相拓扑在大功率应用中的优势,包括ZVS实现、高频化和小型化特点。随后给出了具体设计参数和移相控制策略,采用电压外环+移相角内环的双闭环控制架构。文章重点演示了Simulink建模步骤,包括主电路搭建、移相PWM生成和PI控制器设计,并通过满载稳态、负载阶跃和轻载测试三种场景验证了系统性能。最后总结了工程实践要点,提出自适应控制等扩展方向,强调移相控制通过精准时间管理实现高效能量转换的核心价值。

MHD0815的博客 263

廖雪峰Python教程[完整版]

廖雪峰的python教程整理的,已经排好版了,而且还是完整的,适合小白

纯干货!埃森哲的大数据分析框架分享-part 2

接着上一篇的内容,这篇主要讲在PPT中提到的几种分析方法以及每种方法的实现方式。

weixin_43931438的博客 1380

锂电池充电器电路设计 里面有电路

锂电池充电器电路设计 里面有电路 3.7V升压到5V电路设计。

数据分析系列 3/32 | 数据分析需要掌握的常用指标

数据分析相关概念多且杂,容易搞混。为了便于大家区分,今天小编就来盘点一下数据分析常用的指标解释。建议大家收藏起来方便查看。 PART 01 互联网相关 1、PV(Page View)页面浏览量 指某段时间内访问网站或某一页面的用户的总数量,通常用来衡量一篇文章或一次活动带来的流量效果,也是评价网站日常流量数据的重要指标。PV可重复累计,以用户访问网站作为统计依据,用...

数据之魅的博客 1042

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

AI之路(二)——关于统计学习(statistical learning)Part 1 概论

从今日起,正式开启AI之路,在人工智能学习领域,无论机器学习还是深度学习,统计学习是入门的最好参考教材,是不可或缺的。因此,这漫漫求索之路,就从统计学习开始吧。 我所选择的是李航所著的统计学习(第二版),计划将我对本书的自学总结或心得,能及时地在此发布,希望能在业余时间里用一年甚至更短的时间内完成此书的学习。 Now,Let’s GO! 统计学习的特点 统计学习(statistical learn...

达摩院院长的博客 1759

python进阶数据分析_数据分析--Part 2: Python进阶

笔记内容来源:拉勾教育数据分析实战训练营本篇是Part 2,python的进阶部分开始啦~~~~~~~说明:理论部分是提炼的老师所讲,加上我自己看书添加的一些解释,代码部分有些会融合老师和我自己练习的写法,一起分享给大家再啰嗦两句,关于拉勾教育数据分析实战训练营:目前为止已经学习了近4个月的课程,已经学完Excel、数据分析思维、MySQL、Tableau、quickBI、神策、hive、统计学,...

weixin_39802969的博客 492

肯德尔系数怎么分析_数据分析面经-面试文档

很多人对我4W字的文档感兴趣,这次先把框架放上来吧~文档并不是一次性写完就结束了,而是在面试中,在实习中不断的更新和完善。文档也不是简单的百度答案、复制粘贴,而是要用自己的话进行复述,每一个问题下,都需要想出与之对应的案例。PART 1 自我分析篇1、自我介绍(三段式)2、对数据分析工作的理解(看法)3、数据分析和数据挖掘算法的区别4、优点和缺点5、兴趣爱好6、转专业的原因7、最喜欢的课程8、对未...

weixin_39715460的博客 225

数据分析求职-统计学知识-Part1

数据分析求职

Victor_wzl的博客 431
上一篇: 那些功能强大,却鲜为人知的pandas骚操作
下一篇: Python是如何将“中文”转“拼音”的?
数据不吹牛
博客等级 码龄10年 1593粉丝 67原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值