Ethan's Blog

数据合并在日常的数据处理中，经常需要将两张表拼接起来使用，在SQL中对应的操作是join，在Pandas中则是merge函数实现。merge函数的作用是用来拼接两张表，那么拼接时自然就需要将用户信息--对应地进行拼接，所以进行拼接的两张表需要有一个共同的识别用户的键。总结来说，整个merge的过程就是将信息--对应匹配的过程。数据拼接的时候有四种方式：inner，left，right和outer代码import pandas as pdimport numpy as npdf_1

分组处理代码import pandas as pdimport numpy as npcompany =["A","B","C"]#this is the datadata = pd.DataFrame({ "company":[company[x] for x in np.random.randint(0,len(company),10)], "salary":np.random.randint(5,50,10), "age":np.random.randint(

Map, apply, applymap详解import numpy as npimport pandas as pdboolean = [True, False]gender = ['男', '女']color = ['white', 'black', 'red', 'green']data = pd.DataFrame( { "height":np.random.randint(150,190,100), "weight":np.random.ra

Power BI--DAX函数高阶VALUES函数作用当输入参数为列名时，返回包含指定列中非重复值的单列表。重复值被删除，仅返回唯一值。当输入参数是表名时，返回指定表中的行。保留重复的行。可添加BLANK行。语法VALUES(<TableNameOrColumnName>)参数TableName/ColumnName 要从中返回唯一值的列，或要从中返回行的表。返回值当输入参数为列名时，返回单列表。当输入参数为表名时，返回具有相同列的表。注意点此...

Power BI--DAX函数进阶DIVIDE函数作用：安全除法，一个值得使用的除法函数。在分母为0时，返回备用结果或BLANK()语法：DIVID(<numerator>, <denominator>[,<alternateresult>]>参数：numerator 分子denominator 分母alternateresult 提示值，当分母为零时返回值，默认为blank（）返回值：十进制数注意...

Power BI--DAX函数入门概述DAX的全称是DATA ANALYSIS EXPRESSION，是一个公式表达式语言。DAX公式包括函数、运算符和值，用于对表格数据模型中相关表和列中的数据执行高级计算和查询。用在度量值、计算列、计算表和行级别安全性中使用。度量值度量值的作用在于解决数据并不包含解决某些重要问题所需的所有内容。度量值是数据分析中的一个关键。度量值的计算结果也会始终随着你与报表的交互而改变，以便进行快速和动态的临时数据浏览。度量值在Power BI中的图

目录Power BI--数据建模（关系模型）表类型查询依据表数据表布局类型星形布局雪花形布局建立查询依据表管理关系Power BI--数据建模（关系模型）表类型观察Power BI中数据，或者有一定SQL知识储备，可以发现有一些数据表中的数据与另外一个表中的某个数据列的值是相同的。这个在SQL中对应的是外键表和主键表。举例查询依据表数据表布局类型星形布局雪花形布局建立查询依据表管理关系...

目录Power BI--数据清洗（清洁）Step1：排序Step2: 逆透视Step3: 条件列Step4: 索引列Step5: 重复列Step6: 数字计算Step7: 日期Step8: 示例中的列Step9: 自定义列Step10: 转置Step11: 反转行Step12: 对行进行计数Step13: 分组依据Step14: 复制Power BI--数据清洗（清洁）Step1：排序Step2: 逆透视...

目录Power BI--数据清洗（清扫）Step1：拆分列Step2：重命名列Step3：提取Step4：格式修整Step5：设置字母的大小写Power BI--数据清洗（清扫）当我们将数据整顿好之后，我们需要开始对数据清醒修正处理（清扫工作）。Step1：拆分列观察数据表发现，“咖啡”列中的内容由两部分组成分别是地点城市和咖啡类型，两者中间用“-”分隔。为了便于后期数据分析，这里我们需要通过“拆分列”功能将两者分开。拆分后效果：参数解释.

Power BI--数据清洗（整顿）Step1：修改数据类型Power BI中有如下数据类型：这里直接引用微软对各个数据类型的说明。为了在数据分析过程中，精确的进行数据分析，需要指定正确的数据类型。观察数据中多列数据类型不正确，需要手动转变。日期列数据类型应该为日期，而系统自动检测将其认为是文本和数字类型了。而成本和数量等列应该是数值类型的，这里有些是文本类型。如果类型不正确将导致后期无法进行数值的计算。点击数据类型图标，选择目标数据类型，即可完成数据类型的转变。

数据清洗由于导入的数据中存在很多脏数据或异常数据，我们需要通过一定的方法将这些数据处理清理好以便于后期使用数据。这里介绍5S中的方法来清洗数据。整理整理在数据清洗中的含义就是，将数据进行汇总，然后对数据进行取舍，将不需要的数据剔除。数据汇总 整顿清扫清洁...

导入数据Power BI中有多种导入数据的方式，这里介绍三种常见方式的导入方法。 导入Excel Step1: 打开Power BI--“主页”--“获取数据”--“Excel"Step2: 选择目标Excel文件，点击"打开"Step3: 选择目标“工作簿”，点击“加载”一个Excel文件中可以存在多个“工作簿”，每一个工作簿都当作是一张独立的数据表，根据数据要求导入。“加载”：导入Excel文件中相应工作簿“转换数据”：导入Excel文件中相应工作簿，并将转入P

Pandas中melt和pivot函数melt和pivot函数说明数据准备数据处理melt和pivot函数说明melt函数和pivot函数通常用来进行数据表行和列转换使用。这里举一个例子来说明这两个函数可以达到的效果。原数据处理后数据数据准备data={"date":['20150901','20150901','20150901'],"hour":[12,12,12],"type":['AQI','PM2.5_24h','PM10_24h'],"北京":[24,14,20],"天津":