Power Query数据处理

最新推荐文章于 2025-05-03 12:20:14 发布
原创 最新推荐文章于 2025-05-03 12:20:14 发布 · 2.6k 阅读 · 8 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python #开发语言 #后端

这篇博客介绍了如何使用Power Query进行数据处理，包括连接数据源、纵向和横向合并表格，以及使用M函数进行数据分组和排序。在M函数基础部分，讲解了基本表达式和变量类型。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

目录

一、使用Power Query

连接数据源

使用查询编辑器

纵向合并：：将销售一表与销售二表纵向合并为销售总表

横向合并：将产品分类表中信息合并到销售总表中

​ 复制分组表：将销售总表进行复制，复制表表名为分组表

在分组表中提取季度信息

分组依据：以产品类型与季度为分组依据，汇总商机数与商机金额

排序： 按照产品类型与季度的升序顺序进行排序

M函数基础

M函数基本表达式

M函数基本变量类型 

 

一、使用Power Query

连接数据源

以 Excel 为例

使用查询编辑器

  • 删除各表中前两行
  • 提升各表标题行
  • 纵向合并：将销售一表与销售二表纵向合并为销售总表
  • 横向合并：将产品分类表中信息合并到销售总表中
  • 复制分组表：将销售总表进行复制，复制表表名为分组表
  • 在分组表中提取季度信息
  • 分组依据：以产品类型与季度为分组依据，汇总商机数与商机金额
  • 排序： 按照产品类型与季度的升序顺序进行排序

行列的识别：

  • 字段：识别列，不能重复
  • 记录：主键识别行

字段： 

  • 一个字段只能有一个数据类型 
  • 所有字段的记录数相同

主键：

  • 物理：非空不重复
  • 业务：一个表的记录单位，所有非主键字段都要能够围绕主题信息进行描述和扩展

纵向合并：：将销售一表与销售二表纵向合并为销售总表

横向合并：将产品分类表中信息合并到销售总表中

最低0.47元/天 解锁文章

200万优质内容无限畅学
Colorfully_lu
关注
plsql两表数据关联_Power BI | DAX函数（三）关联分析
weixin_39830012的博客
12-10 1400
以下分析参考powei bi 星球，结合我自己的理解，补充了相关步骤。关联分析的经典案例就是啤酒和尿布，说的是某人发现超市啤酒销量与尿布销量总是呈正相关，于是将啤酒与尿布放在同一区，之后啤酒与尿布的销量大增，于是相关人员研究发现，是因为喜欢喝酒的父亲们来给宝宝买尿布时总是会在啤酒区买些啤酒一同带回去，因此当两者摆放在相近区域时导致销量大增。那么用POWER BI怎样进行关联分析呢？首先我们准备四张...
（目标责任成本编制）Power Query 和Power Pivot 实战汇总零散数据---目标成本编制数据案例
SoIKnow的博客
09-06 859
目标责任成本编制的基本步骤
干货丨Power Query 数据类型及数据结构
weixin_34019929的博客
07-12 9267
前言 查询增强版（Power Query）是Excel Power BI组件中用于数据导入、数据整合以及数据处理的插件工具。适用于Excel 2010以上版本，在Excel 2010以及Excel 2013中需要下载插件安装加载后使用，在Excel 2016版本中Power Query被内置在数据选项卡的获取和转换工具集中。在Power Query帮助...
批量修改的后台代码_PowerQuery技巧：批量更改列名
weixin_39876450的博客
12-06 677
今天分享一个PowerQuery的小技巧，导入到PowerBI中的数据，如果想要更改数据的列名，可以在PQ编辑器中直接双击列名，如果需要修改的列名比较多，还可以批量修改，利用这个M函数：Table.RenameColumns其实双击更改列名也是利用这个函数，以下面这个数据为例，双击标题把“日期”更改为“订单日期”，在编辑栏就会看到这个M函数，= Table.RenameColumns(...
Power Query精通指南4：M语言（查询结构与值系统）、查询优化、自动刷新
最新发布
qq_56591814的博客
05-03 1379
基元值和结构值。基元值：这是最基本的数据类型，包括二进制、日期、时间、数字、文本、逻辑值、null等。结构值：这些是由基元值构造而成的复杂类型，如表（Table）、列表（List）、记录（Record）等，以彩色字体显示。结构值是 Power Query的独有设计，使得 Power Query 能够高效地处理基于行、列或结构化的数据转换。Power Query 中的函数本质上是参数化的表达式，通过(参数) => 表达式通过界面生成函数：在 Power Query 编辑器中，可以通过 右击。
236、商城业务-购物车-环境搭建
pyd1040201698的博客
09-16 259
替换
PQ：将字符串或数字类型更改日期格式
zengshan_的博客
05-12 1183
将字符串类型或者其他类型的日期列，更改为数值类型= Table.TransformColumnTypes(重命名的列1,{{"日期", Int64.Type}})#添加自定义列，日期选择英国格式Date.FromText(Number.ToText([日期]),[Format="yyyyMMdd",Culture = "en-GB"])
powerquery分组_Power Query基础知识分享，值得学习
weixin_34883093的博客
01-10 2201
▲ 点击上方蓝字关注我 ▲文/小鱼儿 编辑/小东瓜EXCEL中，我们经常做如下的操作：1.数据获取从不同来源，不同结构，不同形式获取数据并按统一格式进行横向合并，纵向(追加)合并，条件合并等。2.数据转换将原始数据转换成期望的结构或格式。3.数据处理为后续分析的需要，进行数据预处理，例如：加入新列、新行、处理某些单元格值。01应用场景举例上面说了这么多，好像毫无画面感，那就来看一个实例吧.如下图，...
30、Power Query-搞清Power Query中的表结构
少年休闲海
01-12 1万+
本节重点：搞清Power Query中的表结构 下面举例说明这个PQ的表结构： 我们随便选中一个单元格，右击，选择“深化”。 显示了这个单元格的值，然后我们可以观察这个“编辑栏”，“= 更改的类型{9}[总分]”。 这个什么意思呢，“[总分]”我们好理解，是上图中的“总分”一列，那么“{9}”呢，这里不卖关子了，其实就是索引号为“9”的行。 这里我们需要正视一个概念：Po
Excel Power Query M 常用日期处理
weixin_45326892的博客
01-26 4216
Excel 数据分析里面，Power Query用来处理日期 let 源 = Excel.CurrentWorkbook(){[Name="表3"]}[Content], 改为日期类型 = Table.TransformColumnTypes(重命名的列,{{"pt", type date}}), 添加年 = Table.AddColumn(改为日期类型, "年", each Date.Year([pt])), 添加月 = Table.AddColumn(添加年,...
Power Query简介（超级查询：获取与整理数据）
积一时之步，臻千里之遥程
02-22 1万+
提要：总结一下前辈大神们的内容，方便自己查询 参考： PowerQuery简介 一、Power Query的常用功能 多表格合并，批量合并同一格式的多个文件，快速合并，动态追加，格式统一并合并分析处理 合并查询，类似Excel中的VLOOKUP 逆透视 … 二、Power Query到底能干什么 四个字来总结（连接、转换、组合、共享） 数据获取：从不同来源，不同结构，不同形式获取数据并按统一格...
使用EXCEL中的Power Query一次抓取网站中的多页数据，比如上市公司财报
grace_jm2008的博客
12-31 1424
以这个网站为例，如下：
Power BI 如何高效管理度量值和字段
WHYbeHERE的博客
06-02 3254
当分析场景涉及大量数据和分析度量值时，为了更好的区分原始数据和用于分析的度量值，需要合理安排和管理数据字段。本文总结了三种方法: 移动度量值位置、创建字段文件夹、创建仅包含度量值的表。
powerquery分组_Power Query系列 - 排序Ranking
weixin_33453726的博客
01-28 2179
Power Query系列 - 排序Ranking难度： ★★☆☆☆(1星)适用范围： ★★★☆☆(3星)概况：在数据分析中，我们常常需要对数据进行排序，同时我们想知道某个项目或者产品的排名，以方便查阅或对排名靠前的进行特别处理。应用场景：以下是几个应用场景：对前五名销售进行奖励对前五名的销售求和对末3位进行淘汰....然鹅，排名有多种，下面是小抄： 顺序排序(1234排序)-这种排序方法对数据...
python（六）——函数
CloserSide的博客
09-28 838
函数函数定义函数传递实参位置实参关键字实参形参默认值返回值使用默认值让实参变为可选 函数 定义函数 例子： def add_way(a,b): print("两个数加起来的结果是%d" % (a+b)) info_a = 1 info_b = 2 add_way(info_a,info_b) 实参：调用函数时传递给函数的信息。在上例中实参为info_a和info_b 形参：函数完成其工作所需要的一项信息。在上例中形参为a和b 传递实参 位置实参 函数调用时，基于形参的顺序与实参相关联。 d
BI神器Power Query（13）-- PQ制作时间维度表（2）
神奇的BI
11-25 2267
Power Query支持数据模型，可以将多种数据添加到数据模型，然后建立管理关系并进行后续分析。有些时候会使用和数据仓库星形数据模型的方式进行关联，这里常用的两类表为维度表和事实表。本文讲解如何添加自定义列并指定类型。
20、Power Query-数据合并、拆分
热门推荐
少年休闲海
01-10 2万+
本节重点：熟练使用Power Query中的合并以及拆分功能。 例子：下面是学生的考试成绩表，要求将其合并到一列中，用“/”分隔，没有考试成绩的不显示。 效果图： 这里我们将用到PQ中的“合并”功能，具体思路是：将数据源分为三个表进行操作。 表1、原始数据源保持不变； 表2、将分数用科目名称填充； 表3、将分数用分隔符“/”填充； 最后进行三表按照“姓名”进行合并，最
7、Power Query-合并查询
少年休闲海
12-29 1万+
Power Query合并查询——比VLOOKUP函数更强更智能 比如我们有两个工作表，一个“销售记录”一个“单价表”，我们要来汇总所有产品的销售总额和平均额，如下图： 这个时候我们就可以用到一个强大的功能，比Vlookup好用多了，Vlookup每次增加还要拖动，烦死了，用了这个，一劳永逸。 合并查询 这里就需要两个表进行链接了，让他们从此有了一个对应，现在我们还选不了，
Power Query 系列 (14) - BOM数据展开应用案例
王敏的专栏
09-16 3050
层次化数据是一种比较常见的数据关系，比如 BOM、公司的组织架构、族谱等等。本文讲解应该如何对层次化数据进行存储和加工输出。设计的场景如下： 为了直观，用 1 位数表示第一级，2 位数表示第 2 级，依次类推。将左边的数据放在 Excel 工作表中，通过 Ctrl + T 变成表，然后加载到 Power Query，将查询命名为 Hierarchy。示例数据已经上传到 Github，方便大家对照...
PowerQuery怎么处理数据
03-17
<think>好的，我现在需要帮助用户了解如何使用Power Query进行数据处理。首先，我得回顾一下用户提供的引用内容，确保回答准确。用户提到了几个关键点，包括查询折叠、数据导入、M函数以及避免使用组合功能等。 首先，我应该从数据导入开始，因为这是数据处理的第一步。根据引用[3]，Power Query支持多种数据源，比如Excel、文件夹、Web等。需要分步骤说明如何从不同来源导入数据，特别是如何构建SQL语句的情况，如引用[1]提到的查询折叠，这可能影响性能。 接下来是数据处理的基础操作。用户提到了筛选、排序、删除重复项等，这些是常见操作。需要强调引用[2]中的建议，即保持数据结构规范一致，避免使用组合功能。可能还需要提到数据清洗，比如填充空值或拆分列。 然后是M函数的基础知识，引用[5]详细说明了let...in结构和注释方法。这里需要举例说明如何编写简单的M表达式，比如转换文本大小写，让用户更容易理解。 高级处理部分可能需要涉及合并查询、分组聚合和自定义列，这些在数据处理中很常用。同时，引用[4]提到爬取网页数据，可以作为一个案例，说明如何从Web获取数据并进行处理。 最后，注意事项部分要提醒用户查询折叠的重要性，如引用[1]中提到的，区分是否能构建SQL语句的情况，以及引用[2]中关于数据结构规范的建议。还要提到性能优化，比如尽早过滤数据。 在生成相关问题的时候，需要覆盖数据导入、M函数、查询折叠、数据清洗和实战案例，这样用户可以有进一步学习的路径。需要确保所有引用都正确标注，比如引用[1]到[5]对应的内容。 现在，检查是否有遗漏的要点，比如是否提到了Power Query的界面操作，引用[3]中的导入数据窗口是否足够详细。另外，引用[5]中的M函数变量类型是否需要更详细说明？可能用户作为初学者，需要更基础的示例。 最后，确保语言口语化，避免使用技术术语过多，同时结构清晰，分步骤讲解。确认所有LaTeX格式正确，比如变量用$...$，没有独立公式所以不需要$$...$$。检查是否有中文回答，符合用户要求。</think>以下是Power Query数据处理的详细教程，结合官方文档和实际应用场景整理： ### 一、数据导入方法 1. **从文件导入**（支持Excel/CSV/文本） - 在Excel中选择「数据」→「获取数据」→「来自文件」 - 勾选「将第一行用作标题」确保字段识别正确[^3] 2. **从文件夹批量导入** ```powerquery-m let 源 = Folder.Files("C:\数据文件夹"), 筛选文件 = Table.SelectRows(源, each [Extension] = ".xlsx") in 筛选文件 ``` 此方法可合并结构相同的工作表[^2] 3. **Web数据抓取** ```powerquery-m = Web.Page(Web.Contents("http://www.air-level.com")) ``` 支持动态网页数据抓取（如空气质量数据）[^4] ### 二、数据处理基础 1. **数据清洗** - 删除空行：主页→「减少行」→「删除空行」 - 填充空值：右键列标题→「替换值」→将`null`替换为指定值 - 拆分列：按分隔符/字符数拆分文本列 2. **数据转换** - 类型转换：右键列标题→「更改类型」 - 日期处理：提取年/月/日、计算日期差 ```powerquery-m = Table.AddColumn(源, "年份", each Date.Year([日期列])) ``` ### 三、M函数进阶 1. **基本表达式结构** ```powerquery-m let 步骤1 = 操作1, 步骤2 = 操作2(步骤1) in 步骤2 ``` 支持多步骤数据处理流水线[^5] 2. **常用函数示例** ```powerquery-m // 文本处理 = Text.Combine({"A","B"},"-") // 返回"A-B" // 条件判断 = if [销售额] > 10000 then "达标" else "未达标" ``` ### 四、性能优化技巧 1. **查询折叠（Query Folding）** - 在数据源阶段通过生成SQL语句预处理数据 - 验证是否折叠成功：右键查询步骤→查看「服务器请求」是否激活[^1] 2. **数据过滤优先级** ```mermaid graph LR A[数据源] --> B{可构建SQL?} B -->|是| C[先筛选再加载] B -->|否| D[全量加载后筛选] ``` 建议优先在数据库端完成筛选[^1]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值