图解数据分析(2) | 数据分析思维(数据科学家入门·完结)

图解 大数据 数据分析 入门理解 图形化大数据分析图解.....png 大数据分析图解..... 立即下载

ShowMeAI研究中心


有人把数据分析的核心总结为六字,即对比、细分、溯源,也被数据分析的三板斧,支撑数据分析的核心应用,具体来说:

数据分析三板斧

对比:成对地比较。

  • 横向对比:与『他人』比较,比如,两家公司的离职率。
  • 纵向对比:按照时间维度与『自己』的比较,比如,一家公司去年和今年的离职率。

细分:对数据增加维度、降低粒度地分析。

  • 分维度:增加维度,比如,离职率按照部门维度来分析。
  • 降低粒度:降低数据聚合的程度,比如,离职率不按年份、而按照月份来统计。

溯源:在对比、细分锁定到具体维度和粒度之后,依然没有结论,那就需要查看原始数据,洞察数据,从数据中寻找灵感。

一、数据『对比』

数据放在那里是没有意义的,只有将数据进行比较,才体现出数据分析的价值。对比其实很简单,就是把A和B比较。但是,没有可对比性的对比一定是耍流氓。

数据分析思维-数据『对比』

1.1 指标的可对比性

指标的可对比性,可以从四个“一致”原则来评估:对象一致、时间属性一致、定义与算法一致、数据源一致。

(1)比价对象一致 。比较的对象一致。对象一致是可比的最基本原则,番茄的销量和猪的销量是不可比的,这其实就是因为比较的对象不一致。

(2)时间属性一致 。指标的时间属性一致。 时间属性比较特殊,对象所在的季节、月份等时间属性要有可比性。例如,一家便利店冬季雪糕的销量,和夏季没有可比性,因为对象的时间属性不同,但做销量的同比是可以的。

(3)定义和算法一致 。对分析对象的定义和计算方法一致。举个例子,青年的定义,中国国家统计局(15-34周岁)和中国共青团(14-28周岁)不同,当统计青年人数占总人数的比例时,二者计算的指标数据,肯定是不同的。

(4)数据源一致 。统计的数据样本一致。

1.2 数据对比的“三要”

在做数据对比的相关分析时,要记住三个“要”:对比要可比、差异要显著、描述要全面。

(1)对比要可比 。对比分析要有可比性。

(2)差异要显著 。组间差异要显著,组内差异要细微。常用的显著性检验有T检验和方差分析。

(3)描述要全面 。当刻画一组数据时,不仅要描述这组数据的一般水平(均值),还要考虑到这组数据的波动水平。如果波动很大,一般水平对数据总体的代表性就会很差。只考虑一般水平而不考虑波动和差异,会使数据的可信度大大缩水。

二、数据『细分』

通过增加维度和降低粒度来细分数据,深挖数据,揭示数据中潜藏的规律。
数据分析思维-数据『细分』

2.1 增加维度

一个维度是数据表的一列。通常情况下,维度是指定性数据。例如,产品提供的服务的类型、用户分布的地域等。在分析数据时,增加分析的维度,改变看待问题的视角,能够在更细分的级别上分析数据,洞察到更多的知识,增加数据分析的深度。

例如,新用户的留存率,通过增加获客来源的维度,可以监控各个来源的新用户的留存率,把有限的经费使用到真正可以带来有效转化的地方。

2.2 降低粒度

粒度是数据的聚合程度。颗粒度最小的数据,是没有聚合的原始数据。

举个例子,每日数据是原始数据,其粒度是日,数据的数量巨大;而每周的统计数据是对日数据的聚合,其粒度是周,数据的数量变成原来的1/7。

三、数据『溯源』

溯源,就是到细节数据中去,查看原始数据,反思用户的行为。在做数据分析时,一定要明白你分析得数据是二手的,还是一手的。

数据分析思维-数据『溯源』

  • 一手数据是最原始的数据,包含的内容最丰富,但数据可能不规范。

  • 二手数据是经过处理的,甚至是分析之后的数据,这些数据可能是片面的、阉割的、面向特定主题的,由此得出的分析结果也可能有失公允。


一键运行所有代码

图解数据分析系列 配套的所有代码,可前往ShowMeAI 官方 GitHub,下载后即可在本地 Python 环境中运行。能访问 Google 的宝宝也可以直接借助 Google Colab一键运行与交互学习!

下载数据分析速查表

Awesome cheatsheets | ShowMeAI速查表大全 系列包含『编程语言』『AI技能知识』『数据科学工具库』『AI垂直领域工具库』四个板块,追平到工具库当前最新版本,并跑通了所有代码。点击 官网 或 GitHub 获取~

👇 数据分析相关速查表(部分):

内容速查表(部分)Github代码
Python 3速查表Python 3速查表一键运行速查表代码 - Python
Numpy 速查表Numpy 速查表一键运行速查表代码 - Numpy
Pandas 速查表Pandas 速查表一键运行速查表代码 - Pandas
Matplotlib 速查表Matplotlib 速查表一键运行速查表代码 - Matplotlib
Seaborn 速查表Seaborn 速查表一键运行速查表代码 - Seaborn

拓展参考资料

ShowMeAI图解数据分析系列推荐(数据科学家入门)

ShowMeAI系列教程精选推荐

为什么大语言模型推理要分成 Prefill 和 Decode?深入理解这两个阶段的真正意义 Prefill 阶段是语言模型推理中的第一个步骤,它负责处理你输入的所有上下文内容(prompt),为后续生成打下基础。“请解释一下 Transformer 的原理。这句话会被 tokenizer 编码为一串 token,比如["请", "解释", "一下", "Trans", "##former", "的", "原理", "。"]。然后这些 token 会进入 Transformer 模型进行前向传播。重点来了 👇。 阅读详情

相关推荐

我从华为身上学到的项目管理经验 -- 需求篇

记录这三年,关于项目管理上的一些心得体会 – 需求篇对于需求,我们可以根据不同的角色、理解拆分成三个过程:简单来说就是:需求分析原始需求、 需求拆分为系统需求、 需求实现为功能需求**需求分析**: 将客户需求 输出成 需求描述。 需求经理需要把 需求 转换成 客户能够接受的 初始需求 IR(Initial Requirement) 对于用户来说,我只管提 我的原始需求是

minminzhe520的博客 3万+

图解数据分析(3) | 数据分析的数学基础(数据科学家入门·完结)

一文讲解数据分析所需要的数学知识!本文包括描述性统计量(集中趋势、离散程度和分布形态),相关性与线性回归、方差分析、概率论(概率事件、条件概率、排列组合、概率分布)、统计推断(抽样、假设检验)等。......

ShowMeAI研究中心 1万+

Android开发者必看:5分钟搞定MQTT客户端连接EMQX服务器(附完整代码)

本文为Android开发者提供了一份快速实现MQTT客户端连接EMQX服务器的实战指南。通过引入Eclipse Paho SDK,详细讲解了从项目配置、权限申请到核心连接、主题订阅与消息发布的完整流程,并附有即拿即用的Kotlin代码,帮助开发者在物联网应用中高效集成轻量级实时通信功能。

weixin_29228781的博客 272

图解数据分析(1) | 数据分析介绍(数据科学家入门·完结)

数据分析是洞察数据背后的规律、得出准确的结论或做出正确决策的过程。本文讲解数据化分析思维的养成,包括最常使用的五力模型、PEST、SWOT、生命周期、金字塔原理、SMART、5W2H等重要模型和理论。.........

ShowMeAI研究中心 1万+

电能质量仿真:电能质量改善措施仿真_(12).电能质量改善措施综合仿真案例

假设我们有一个微电网系统,该系统包含分布式电源(如光伏板、风力发电机)、储能设备、负荷和电网连接。电压波动:由于负荷的波动和分布式电源的间歇性输出,系统电压出现了不稳定的情况。谐波污染:非线性负荷和逆变器的运行导致系统中出现了显著的谐波污染。频率偏差:分布式电源的波动和负荷的突变导致系统频率出现了偏差。我们需要通过仿真来评估这些问题的影响,并提出相应的改善措施。

2401_87715305的博客 1360

MATLAB地理数据处理 25:植被物候提取及分析模型优化(Savitzky-Golay)

之前我写过一篇使用Savitzky-Golay处理遥感数据,获取地面物候信息的MATLAB代码,但是发现存在一些问题:对物候开始期和物候结束期的阈值设定都为相同值,但是有些研究中,需要根据不同的环境条件,设置不同的物候阈值,所以对其进行相应的修改。

amyniez的博客,欢迎交流讨论 2233

数据统计颗粒度

WBS按照“系统-模块-画面 ”逐层分解,然后制作。相应发生工作量的统计分析时机,应该按照当时所处开发阶段而视。如果项目只有部分模块制作完毕,当即按照画面对该模块完成情况进行统计分析。重点在于数据收集及时、排除杂音、合理分析、安排解决措施。当大部分模块制作完毕,该是对整个项目有个说法的时候了。此时便是依照大的模块报告数据,为下一次开发作准备。

Arqui Standard 6581

RabbitMQ高级特性 - 生产者消息确认机制

为了保证信息 从生产者 发送到 队列,因此引入了生产者的消息确认机制.通过事务机制实现.通过发送确认机制(confirm 和 return)实现.因为事务机制比较消耗性能,在实际工作中用的也不多,因此这里主要介绍confirm 和 return机制来实现发送放的确认.a)confirm 确认模式如上图,confirm 确认模式主要保障于 生产者 到 交换机 的消息可靠性.如果 Exchange成功收到消息,那么 ConfirmCallback 这个回调 ack 参数就为true。

CYK_byte的博客 1886

干货:数据分析师的完整知识结构

From: http://www.36dsj.com/archives/17426 作为数据分析师,无论最初的职业定位方向是技术还是业务,最终发到一定阶段后都会承担数据管理的角色。因此,一个具有较高层次的数据分析师需要具备完整的知识结构。 1. 数据采集 了解数据采集的意义在于真正了解数据的原始面貌,包括数据产生的时间、条件、格式、内容、长度、限制条件等。这会帮助数据分析师更有针对性的控

MagicQIT的专栏 2749

【PostgreSQL教程】PostgreSQL 高级篇之子查询

子查询也可称为内部查询、嵌套查询,指的是在 PostgreSQL 查询中的 WHERE 子句中嵌入查询语句。一个 SELECT 语句的查询结果能够作为另一个语句的输入值。子查询可以与 SELECT、INSERT、UPDATE 和 DELETE 语句一起使用,并可使用运算符如 =、、>=、

No8g攻城狮的博客 1206

Camunda 7.x 系列【22】全局监听器

Camunda支持义一个全局ExecutionListener和一个全局TaskListener,会捕获流程中发生的所有事件的通知,这样可以定义一个全局的审批人检查监听器,作用于所有用户任务。

记录知识、锤炼自我 2942

图解数据分析(12) | Pandas - 数据分析工具库介绍(数据科学家入门·完结)

Pandas是Python中最常用到的数据操作和分析工具包,它构建在Numpy之上,具备简洁的使用接口和高效的处理效率。数据科学、机器学习AI应用过程,涉及数据清洗和分析的操作也频繁使用Pandas。

ShowMeAI研究中心 1万+

[系统安全] 四十七.恶意软件分析 (3)动态分析经典沙箱Cape的安装和基础用法详解

系统安全将更好地帮助初学者了解病毒逆向分析和系统安全。前文详细介绍恶意代码静态分析经典工具Capa的基础用法,以及批量提取静态特征和ATT&CK技战术,主要是从提取的静态特征Json文件中提取关键特征。这篇文章将详细讲解动态分析沙箱Cape,其是一个开源的自动恶意软件分析系统,通过自动运行和分析恶意软件,全面分析和提取恶意软件的关键特征。本文先介绍Cape沙箱的安装和基础用法,后续随着深入再分享。基础性文章,希望对您有帮助!

杨秀璋的专栏 6739

图解数据分析(14) | Pandas - 数据变换高级函数(数据科学家入门·完结)

本篇为『图解Pandas数据变换高级函数』,讲解3个函数是map、apply和applymap,更高效地完成数据处理过程中对DataFrame进行逐行、逐列和逐元素的操作。

ShowMeAI研究中心 1万+

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

图解数据分析(16) | 数据可视化原则与方法(数据科学家入门·完结)

数据可视化是以图示或图形格式表示的数据,以更直观方式理解与分析数据。本篇内容,我们给大家介绍数据分析中关于可视化的一些核心知识,包括:各类图形及特点,不同图形选择方法。

ShowMeAI研究中心 1万+

Data-Structures-and-Algorithm-Analysis-in-Java.pdf

作者: Weiss, Mark A. 出版社: Addison Wesley Data Structures and Algorithm Analysis in Java is an “advanced algorithms” book that fits between traditional CS2 and Algorithms Analysis courses. In the old ACM Curriculum Guidelines, this course was known as CS7. This text is for readers who want to learn good programming and algorithm analysis skills simultaneously so that they can develop such programs with the maximum amo...

图解数据分析(10) | Numpy - 与2维数组操作(数据科学家入门·完结)

n维数组是NumPy的核心概念,大部分数据的操作都是基于n维数组完成的。本系列内容覆盖到1维数组操作、2维数组操作、3维数组操作方法,本篇讲解Numpy与2维数组操作——向量初始化、矩阵操作等。......

ShowMeAI研究中心 1万+

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

图解数据分析(7) | 数据分析工具地图(数据科学家入门·完结)

基于数据分析目前良好的发展前景,各界也出现了许多好用的功能种类丰富的数据分析工具。本文列举其中的一些常用工具:Python、R、SQL、SAS、Tableau、Excel等。

ShowMeAI研究中心 1万+

图解数据分析(15) | Pandas - 数据分组与操作(数据科学家入门·完结)

Pandas中可以借助groupby操作对Dataframe分组操作,本文介绍groupby的基本原理及对应的agg、transform和apply方法与操作。

ShowMeAI研究中心 1万+

图解数据分析(13) | Pandas - 核心操作函数大全(数据科学家入门·完结)

本篇为pandas系列的导语,对『Pandas核心操作函数』进行介绍,讲解Pandas进行数据操作和处理的核心数据结构:Series、DataFrame和Index。

ShowMeAI研究中心 1万+

图解数据分析(8) | Numpy - 统计与数据科学计算工具库介绍(数据科学家入门·完结)

n维数组是NumPy的核心概念,大部分数据的操作都是基于n维数组完成的。本系列内容覆盖到1维数组操作、2维数组操作、3维数组操作方法,本篇为系列导入文章,讲解数组的特点、与列表的对比等。......

ShowMeAI研究中心 1万+

图解数据分析(11) | Numpy - 与高维数组操作(数据科学家入门·完结)

n维数组是NumPy的核心概念,大部分数据的操作都是基于n维数组完成的。本系列内容覆盖到1维数组操作、2维数组操作、3维数组操作方法,本篇讲解Numpy与3维、更高维数组的操作。

ShowMeAI研究中心 1万+

图解数据分析(17) | 基于Pandas的数据可视化(数据科学家入门·完结)

本文我们介绍pandas可视化及绘制各种图形的方法,大部分基础图像(条形图、直方图、箱型图、面积图、散点图、饼形图等)绘制只要一行代码就能实现,大大加速了我们的分析效率。

ShowMeAI研究中心 1万+

图解数据分析(5) | 核心步骤2 - 数据清洗与预处理(数据科学家入门·完结)

数据分析分核心步骤分为:业务认知与数据探索、数据预处理、业务认知与数据探索等三个核心步骤。本文介绍第二个步骤:数据预处理,包括数据调整(量纲、数据标准化)、数据异常值检测与分析、缺失值的处理等。......

ShowMeAI研究中心 1万+

图解数据分析(6) | 核心步骤3 - 业务分析与数据挖掘(数据科学家入门·完结)

数据分析分核心步骤分为:业务认知与数据探索、数据预处理、业务认知与数据探索等三个核心步骤。本文介绍第三个步骤:业务认知与数据探索,包括常见业务分析模型,如AB测试、RFM、AARRR、对比分析、来源分析、细分分析、用户分析、聚类分析等。......

ShowMeAI研究中心 1万+

图解数据分析(4) | 核心步骤1 - 业务认知与数据初探(数据科学家入门·完结)

数据分析分核心步骤分为:业务认知与数据探索、数据预处理、业务认知与数据探索等三个核心步骤。本文介绍第一个步骤:业务认知与数据探索,包括常见业务目标和业务指标,并结合典型案例讲解指标体系的设计与使用。......

ShowMeAI研究中心 1万+

图解数据分析(18) | 基于Seaborn的数据可视化(数据科学家入门·完结)

对于使用Python快捷地进行数据分析可视化而言,Seaborn是一个简单易用的选择。Seaborn 核心库进行了更高阶的 API 封装,可以轻松地画出配色更加舒服、图形元素的样式更加细腻的图形。

ShowMeAI研究中心 1万+
上一篇: 图解Python编程:从入门到精通系列教程(附全套速查表)
下一篇: 图解AI数学基础:从入门到精通系列教程(要点速查清单·完结)
ShowMeAI
博客等级 码龄5年 6514粉丝 672原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

ShowMeAI

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值