【Hive、Spark Sql中为什么说group by是distinct的优化？】

最新推荐文章于 2024-08-09 12:09:29 发布
原创 最新推荐文章于 2024-08-09 12:09:29 发布 · 3.1k 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hive #spark #sql

这篇博客深入探讨了Hive和SparkSql中groupby与distinct操作的底层逻辑。通过分析LogicalPlan，揭示了distinct在优化过程中实际上转化为groupby的实现方式。这一转换表明，groupby在某些情况下可能是distinct的更优选择，特别是在大数据处理场景下。

Hive、Spark Sql中为什么说group by是distinct的优化？

用LogicalPlan带你一探究竟

无论是Hive还是SparkSql都会生成LogicalPlan，PhysicalPlan只要我们明白了 他在底层如何转换如何优化的就能知道group by和distinct有何区别。

group by

sql: “select name from student group by name”
在这里插入图片描述

distinct

sql：“select distinct name from student”

在这里插入图片描述

看图说话

我们会发现distinct的逻辑计划在底层生成的优化后的逻辑化转换成了group by的逻辑计划

大数据领域 Hive 与 Spark 的集成应用
AI天才研究院
05-10 1242
随着企业数据量呈指数级增长，传统单一计算引擎已难以满足复杂的数据处理需求。Hive 作为基于 Hadoop 的分布式数据仓库，擅长离线批量数据处理和 SQL 语义支持；Spark 则以内存计算为核心，提供批处理、流处理、机器学习等统一计算框架。本文旨在解析两者集成的技术原理、实施路径及应用价值，覆盖从基础架构设计到性能优化的全流程，帮助读者掌握高效的数据处理解决方案。背景介绍：明确技术定位与读者对象核心概念与联系：剖析 Hive 与 Spark 的架构特征及集成逻辑核心集成原理与操作步骤。
大数据架构师选型必懂：大数据离线数仓开发框架详解与对比(hive、Spark SQL、Impala、Doris）
大模型大数据攻城狮的专栏
09-30 1251
Hive是基于Hadoop的一个数据仓库工具，它的出现为大数据处理领域带来了革命性的变革。Hive能够将结构化数据文件映射为数据库表，使得用户能够像操作关系数据库一样操作Hadoop中的数据。这一特性极大地降低了Hadoop的使用门槛，使得更多企业和组织能够利用Hadoop进行大规模数据处理和分析。在Hadoop生态系统中，Hive扮演着至关重要的角色。它为用户提供了一个熟悉且易于使用的SQL接口，使得用户能够在不离开Hadoop平台的情况下进行数据查询和分析。
Spark 数据倾斜调优10策
Aidon博客
12-05 737
Spark 数据倾斜调优。何谓数据倾斜？数据倾斜指的是并行处理的数据集中，某一部分（如Spark或Kafka的一个Partition）的数据显著多于其它部分，从而使得该部分的处理速度成为整个数据集处理的瓶颈。
Spark优化大全总结实操,含数据格式/数据倾斜/算子优化/Join优化/参数调优等
qq_39285950的博客
12-28 3922
Spark优化总结大全,含数据格式/数据倾斜/算子优化/Join优化/参数调优等,spark任务重RDD持久化数据在Executor内存中占用比例为60%,当数据量较大内存放不下时,就会溢写到磁盘,如果spark任务中有较多需持久化的RDD,建议调大此参,避免内存不足时数据只能写磁盘的情况.若没有或者发现作业频繁gc或者运行较慢时,则可适当调小此比例。如果觉得数据发生了倾斜(数据分布不均,很多数据都打到了一个分区中),建议在Join之前先进行Repartition操作,增加分区数,这样可以将分区内的数据打散
spark sql多维分析优化——细节是魔鬼
xiaoluobutou的专栏
02-22 1624
分享一个工作中遇到的多维分析优化的案例
Spark 学习笔记之 distinct/groupByKey/reduceByKey
baguashenp74070的博客
11-04 249
distinct/groupByKey/reduceByKey： distinct： import org.apache.spark.SparkContext import org.apache.spark.rdd.RDD import org.apache.spark.sql.SparkSession object TransformationsDemo { ...
关于distinct 和group by的去重逻辑浅析
liuzhiqiangruc
03-22 2949
在数据库操作中，我们常常遇到需要将数据去重计数的工作。例如： 表A，列col A C A B C D A B   结果就是一共出现4个不同的字母A、B、C、D 即结果为4 大体上我们可以选择count(distinct col)的方法和group+count的方法。 分别为： select count(distinct col) from A; select co...
为什么Hive中的group by后面不能使用字段别名？
雷恩Layne
04-19 3369
为什么Hive中的group by后面不能使用字段别名呢？看了这篇文章你将一目了然。 文章目录1. 案例说明2. 分析原因3. 解决办法4. 执行效率5. 总结 1. 案例说明 我们以一个例子来说明。 （1）数据 创建business.txt，内容如下： jack,2017-01-01,10 tony,2017-01-02,15 jack,2017-02-03,23 tony,2017-01-04,29 jack,2017-01-05,46 jack,2017-04-06,42 tony,2017-01-
数据去重，用DISTINCT还是GROUP BY？
Java/Python大数据随笔
12-28 1415
MapReduce Job卡在了最后一个ReduceTask，任务迟迟未运行成功，ReduceTask只有一个如果某个Job任务卡在99%不动，例如，某个Reduce的时间比其他Reduce时间长的多，大部分Task在1分钟左右完成，只有一个Task执行20多分钟还没完成。这时我们就应该考虑出现数据倾斜了如果每个ReduceTask执行时间差不多，都特别长，不一定是数据倾斜导致的，可能是ReduceTask设置过少导致的。这时可以调整ReduceTask个数。
spark入门学习：spark SQL
qq_41358574的博客
08-09 1184
Spark SQL是用于结构化数据处理的Spark模块。与基本的Spark RDD API不同，Spark SQL提供的接口为Spark提供了有关数据结构和正在执行的计算的更多信息。在内部，Spark SQL使用这些额外的信息来执行额外的优化。与Spark SQL交互的方式有多种，包括SQL和Dataset API。计算结果时，使用相同的执行引擎，与您用于表达计算的API/语言无关。为什么要有SPARK SQL:1）发展历史。
SparkSQL优化
m0_51388399的博客
05-07 1575
然后Spark SQL在执行查询任务时，只需扫描必需的列，从而以减少扫描数据量、提高性能。得到的优化执行计划在转换成物理执行计划的过程中，还可以根据具体的数据源的特性将过滤条件下推至数据源内。1)定制化内存管理：Rdd数据都放在堆内存，JAVA（JVM）内存，内存管理回收分配不是由spark管理，是由JAVA（GC）管理，有时候会出现资源不一致问题，spark不是直接的内存管理者。对于普通开发者而言，查询优化器的意义在于，即便是经验并不丰富的程序员写出的次优的查询，也可以被尽量转换为高效的形式予以执行。
group by和distinct区别详解
qq_45450889的博客
01-13 707
今天在使用sql的查询所有关键字时候用到了group by，因为数据量比较大执行时间比较久所以又想到了distinct，想知道二者的区别是什么，哪个更快一些，于是我找度娘学习了一下。
Spark中distinct、reduceByKey和groupByKey的区别与取舍
止鱼
07-30 7054
1. 代码实例： a. val rdd = sc.makeRDD(Seq("aa", "bb", "cc", "aa", "cc"), 1) //对RDD中的元素进行去重操作 rdd.distinct(1).collect().foreach(println) rs: aa bb cc b. val rdd:
spark 的group by ,join数据倾斜调优
lixia0417mul2的博客
02-20 984
spark处理数据倾斜
Spark-SQL 多维度聚合优化
dymkkj的专栏
01-18 2246
1.问题描述 问题描述 上线一个SQL任务，发现其本身输入表都不打，基本都在百万级别以内，但是能够耗时几个小时，故进行优化 2.优化思路 2.1 并行度 根据运行指标发现，各个stage运行时间，应该是某个stage下的task发生倾斜 进一步跟踪stage,发现 task读写数据不是很大，只有几百KB，只要shuffle时才比较大 ，因此判断并行度无益于作业优化 stage 362 2.2 shuffle ，聚合 shuflle 分析各个job的数据，发现也不是很大，无需改变shuffle时
spark1.x-spark-sql性能优化
program哲学
06-29 1069
cache join和group by 作为变量设置shuffle过程中的并行度spark.sql.shuffle.partitions SQLContext.setConf()在hive数据仓库建设过程中 合理设置数据类型 比如能设置为INT的 不要设置为BigInt 减少数据类型导致的内存开销填写SQL时 尽量给出明确的列名 比如select name from students 不要
spark【例子】count(distinct 字段) 简易版 使用groupByKey和zip
sysmedia的博客
04-11 1814
例子描述： 有个网站访问日志，有4个字段：（用户id，用户名，访问次数，访问网站） 需要统计： 1.用户的访问总次数去重 2.用户一共访问了多少种不同的网站 这里用sql很好写 select id,name,count(distinct url) from table group by id,name 其实这个题目是继官方和各种地方讲解聚合函数（agg
Spark SQL distinct分析优化总结
Code_zhu的博客
03-29 7857
Spark count distinct原理 由于distinct过程会导致数据膨胀，导致shuffle、reduce双端数据倾斜，因此distinct算子操作特别慢 distinct慢的主要原因： 数据膨胀原理： select count(distinct id), count(distinct name) from table_a distinct算子在处理过程中是将distinct后的字段和group by字段共同作为key传入reduce，导致shuffle.
Spark Sql之count(distinct)分析&&学习&&验证
南风知我意
08-27 5611
先说结论：spark sql和hive不一样，spark对count(distinct)做了group by优化 >在hive中count(). >hive往往只用一个 reduce 来处理全局聚合函数，最后导致数据倾斜；在不考虑其它因素的情况下，我们的优化方案是先 group by 再 count ...
hive.groupby.skewindata会对spark引擎有效
最新发布
06-24
<think>嗯，用户现在关心的是hive.groupby.skewindata参数在Spark引擎下的表现，这个问题提得很精准。从对话历史看，用户已经理解了这个参数在Tez引擎下的两阶段聚合机制，现在想延伸到Spark场景。用户引用的资料里有个关键点：引用[3]指出Hortonworks沙箱环境实际运行的是Hive1.2，而用户明确使用的是Hive3.1.0。这提醒我需要特别注意版本差异带来的行为变化。关于Spark执行引擎，需要明确三点核心差异：第一，Spark本身有内置的倾斜处理机制，比如AQE的动态优化，这和Hive的参数设计理念不同；第二，Hive的groupby.skewindata本质是生成两阶段MR任务，但Spark执行时会把HiveQL翻译成RDD或DataFrame操作，参数可能直接被忽略；第三，从Hive3.1源码看，SparkExecuteEngine类确实没有处理这个参数的逻辑。用户可能遇到的典型场景是：在hive-site.xml里设置了参数却看不到效果。这时候需要引导用户用EXPLAIN命令验证执行计划，如果看不到"SkewedGroupByOperator"就说明参数未生效。特别要注意引用[5]提到的JDBC场景，当用户通过HiveServer2提交Spark任务时，参数传递路径更长，容易失效。可以建议用户直接检查SparkUI里的DAG图，观察是否有额外的shuffle阶段。对于实际解决方案，应该优先推荐Spark原生方案，比如：-在Spark3.0+启用AQE并设置skewJoin相关参数-对于countdistinct使用两阶段聚合语法这样比强制兼容Hive参数更可靠。最后生成的相关问题要聚焦Spark倾斜处理，比如AQE机制细节或性能对比，这样能延续用户的探索路径。</think>在 Hive 3.1.0 中使用 Spark 引擎时，**`hive.groupby.skewindata` 参数对 Spark 完全无效**，其设计原理和执行机制与 Spark 引擎存在根本性冲突。以下是关键分析： --- ### 一、参数失效的核心原因 1. **设计目标不匹配** `hive.groupby.skewindata` 是专为 **MapReduce/Tez 执行模型** 设计的优化，通过两阶段 MR Job 解决数据倾斜： ```mermaid graph LR A[原始数据] --> B(第一阶段 MapReduce) B --> C[部分聚合结果] C --> D(第二阶段 MapReduce) D --> E[最终聚合结果] ``` Spark 的 DAG 调度和内存计算模型**无需依赖此机制**。 2. **Spark 执行引擎的独立性** Hive on Spark 将 HQL 翻译为 Spark RDD/Dataset 操作，**跳过 Hive 优化器对聚合的重写逻辑**[^1]。Spark 原生通过以下方式处理倾斜： ```sql -- Spark 原生倾斜处理语法（Hive 不兼容） SELECT /*+ SKEW('table_name','column_name') */ ... ``` --- ### 二、Spark 引擎的替代优化方案 当使用 Spark 引擎时，需采用 Spark 原生机制解决 GROUP BY 倾斜： | **优化手段** | **配置方法** | **适用场景** | |-----------------------------|-------------------------------------------------|---------------------------| | **自适应查询执行 (AQE)** | `SET spark.sql.adaptive.enabled=true;` | Spark 3.0+ 自动检测倾斜 | | **倾斜连接优化** | `SET spark.sql.adaptive.skewJoin.enabled=true;` | JOIN 或 GROUP BY 倾斜 | | **增加 Shuffle 分区数** | `SET spark.sql.shuffle.partitions=200;` | 分散倾斜 key 的处理压力 | | **两阶段聚合手动实现** | 添加随机前缀 → 局部聚合 → 移除前缀 → 全局聚合 | 极端倾斜场景 | > **示例：手动两阶段聚合实现（Spark SQL）** > ```sql > -- 1. 添加随机前缀 > SELECT CONCAT(key, '_', CAST(FLOOR(RAND() * 10) AS STRING)) AS tmp_key, value > FROM source_table; > > -- 2. 局部聚合 > CREATE TEMP VIEW partial_agg AS > SELECT SPLIT(tmp_key, '_')[0] AS orig_key, SUM(value) AS partial_sum > FROM tmp_table GROUP BY tmp_key; > > -- 3. 全局聚合 > SELECT orig_key, SUM(partial_sum) AS total > FROM partial_agg GROUP BY orig_key; > ``` --- ### 三、Hive 3.1.0 使用 Spark 的注意事项 1. **参数兼容性验证** 通过 `EXPLAIN` 命令检查执行计划，**Spark 计划中不会出现 `Skewed Group By Operator`**： ```sql EXPLAIN SET hive.groupby.skewindata=true; SELECT department, COUNT(*) FROM employees GROUP BY department; ``` Spark 计划将显示 `HashAggregate` 或 `ObjectHashAggregate` 算子[^5]。 2. **资源调优优先级** Spark 引擎下需调整 Spark 专属参数： ```sql -- 关键 Spark 参数 SET spark.executor.memory=8g; SET spark.sql.autoBroadcastJoinThreshold=10485760; -- 10MB SET spark.default.parallelism=200; ``` 3. **倾斜诊断工具** 通过 **Spark UI** 查看任务执行时间分布： - 单个 Task 执行时间 >> 其他 Task → 存在倾斜 - Shuffle Read Size 差异 > 3 倍 → 确认倾斜 key --- ### 四、性能对比（Tez vs Spark 处理倾斜） | **指标** | Tez + `hive.groupby.skewindata` | Spark + AQE | |-------------------|--------------------------------|---------------------| | 额外 Shuffle 阶段 | 必然增加 | 动态按需触发 | | 内存消耗 | 高（两阶段中间结果） | 较低（钨丝引擎优化）| | 倾斜处理延迟 | 固定两阶段 | 运行时动态调整 | | 适用 Hive 版本 | 全版本支持 | Hive 2.3+ 且 Spark 3.0+ | > **结论**：在 Hive 3.1.0 的 Spark 引擎中，**应禁用 `hive.groupby.skewindata`**，转而使用 Spark 原生优化机制[^1][^5]。 --- ### 五、操作建议 1. **明确执行引擎** ```sql -- 确认当前引擎 SET hive.execution.engine=spark; ``` 2. **关闭无效参数** ```sql SET hive.groupby.skewindata=false; -- 必须关闭！ ``` 3. **启用 Spark AQE** ```sql SET spark.sql.adaptive.enabled=true; SET spark.sql.adaptive.skewJoin.enabled=true; ``` > 通过 Spark UI 的 **SQL/DataFrame** 页签验证倾斜优化是否生效，观察 DAG 图中是否出现 `CustomShuffleReader`（表示动态分区调整）[^1]。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值