HIVE数据倾斜

已于 2024-03-14 21:23:14 修改
阅读量88 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 数据仓库技术体系 文章标签： hive hadoop 数据仓库
于 2021-06-15 16:35:32 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/chenshijie2011/article/details/117923698
本文主要探讨了HIVE中遇到的数据倾斜问题，特别是在group by、count(distinct)和Join操作时的表现及解决策略。通过开启map端聚合、随机数据分区、负载均衡设置，以及调整Join操作方式如Map Join、Bucket Join和Skew Join，可以有效缓解和解决HIVE的数据倾斜问题。

分布式运算中最常见的，最容易遇到的就是数据倾斜；
数据倾斜的现象是，当提交运行一个程序时，这个程序的大多数的Task都已经运行结束了，只有一个Task一直在运行，迟迟不能结束，导致整体的进度卡在99%或者100%，这时候就可以判定程序出现了数据倾斜的问题。
数据倾斜的原因：数据分配

数据倾斜–group by 、count(distinct)

当程序中出现group by或者count(distinct )等分组聚合的场景时，如果数据本身是倾斜的，根据Mapreduce的hash分区规则，肯定会出现数据倾斜的现象。
根本原因是因为分区规则导致的，所以可以通过以下几种方案来解决group by导致的数据倾斜问题。
方案一：开启map端聚合
hive.map.aggr=true;
通过减少shuffle数据量和Reducer阶段的执行时间，避免每个Task数据差异过大导致数据倾斜
方案二：实现随机数据分区
select * from table distribute by rand();
distribute by 用于指定底层按照哪个字段作为Key实现分区、分组等
通过rand函数随机值实现随机分区，避免数据倾斜

方案三：数据倾斜时自动负载均衡
hive.groupby.skewindata=true;
开启该参数以后，当前程序会自动通过两个MapReduce来运行
第一个MapReduce自动进行随机分布到Reducer中，每个Reducer做部分聚合操作，输出结果
第二个MapReduce将上一步聚合的结果再按照业务（group b

了解本专栏 订阅专栏 解锁全文 超级会员免费看
高频考点：Hive数据倾斜问题总结和优化措施
大模型大数据攻城狮的专栏
10-26 1265
在Hive中，数据倾斜是一个常见的性能瓶颈问题。它指的是。
flinksql下的时间日期格式转换
热门推荐
科学的N次方
11-07 1万+
flinksql里面最常用的事情就是时间格式转换，比如各种时间格式转换成TIMESTAMP(3).
hive通用优化-数据倾斜优化-mr程序task个数调整
mx13156的博客
09-06 774
reducetask个数，用过代码指定，job.setNumReduceTask(N)，在hive中reducetask的个数受一下几个条件的控制。maptask个数，在hive中，调整maptask的个数直接去HDFS调整文件的大小和个数，效率较高。方案一：开启map短聚合hive.map.aggr=true;方案一：提前过滤，将大数据变为小数据，实现map join。方案二：使用bucket join。方案三：数据倾斜时自动负载均衡。方案三：使用skew join。方案二：实现随机分区。
Hive 数据倾斜
ziaoming_biu的博客
04-24 1584
数据倾斜：数据分布不均匀，造成数据大量的集中到一点，造成数据热点。主要表现为任务进度长时间维持在 99%或者 100%的附近，查看任务监控页面，发现只有少量 reduce 子任务未完成，因为其处理的数据量和其他的 reduce 差异过大。单一 reduce 处理的记录数和平均记录数相差太大，通常达到好几倍之多，最长时间远大 于平均时长。根本原因就是大量相同的key被分配到一个reduce里，造成一个reduce任务累死了，但是其他的reduce任务闲死4.1重新分区（Repartitioning）
Hive数据倾斜问题
weixin_50227709的博客
03-10 1028
数据倾斜指的是在 Hive 执行 MapReduce 作业时，部分 key 对应的数据量远超其他 key，导致大部分 reducer 很快完成，而少数 reducer 因为数据过多而拖慢整个作业进度，甚至出现内存溢出或任务失败的情况。这种现象常见于 Join、Group By、Count Distinct 等场景【citeturn0search0】【citeturn0search4】。参数调优：启用和参数，让 Hive 自动生成两个阶段的 MR Job 来负载均衡。SQL 层优化。
Hive数据倾斜
litlit023的专栏
01-27 1697
1. 什么是数据倾斜 数据倾斜，即单个节点任务所处理的数据量远大于同类型任务所处理的数据量，导致该节点成为整个作业的瓶颈，这是分布式系统不可能避免的问题。 2. 造成数据倾斜的原因 从本质来说，导致数据倾斜有两种原因： 一是任务读取大文件，二是任 务需要处理大量相同键的数据。 任务需要处理大量相同键的数据，这种情况有以下4种表现形式： （1）数据含有大量无意义的数据，例如空值（NULL）、空字符串等。 （2）含有倾斜数据在进行聚合计算时无法聚合中间结果，大量数据都需要经过Shuffle阶.
hive数据倾斜、调优
分享~
05-21 2513
摘要：分区表分桶表 join优化 hive索引 join数据倾斜 group by数据倾斜
Hive数据倾斜优化方法总结
走过冬季
05-26 760
Hive 数据倾斜是分布式计算中常见的问题，通常表现为某些 Reduce 任务处理的数据量远大于其他任务，导致任务执行时间过长甚至失败。对于高频 Key，优先考虑拆分或打散；对于小表 Join，使用 Map Join；对于无效数据，提前过滤或打散。数据倾斜需根据具体场景选择优化方案。
Hive数据倾斜怎么办
weixin_48336761的博客
04-25 1088
在Hive中，当某些列的数据分布不均匀时，就会发生数据倾斜，导致某些任务运行缓慢或失败。以下是一些处理Hive数据倾斜的方法
Hive数据倾斜总结
wsjslient的博客
03-02 1985
这里写目录标题前言一、什么是Hive的数据倾斜二、发生数据倾斜的原因三、如何解决不同类型的数据倾斜 前言         数据倾斜是大数据处理不可避免会遇到的问题，那么在Hive中数据倾斜又是如何导致的？通过本片本章，你可以清楚的认识为什么Hive中会发生数据倾斜；发生数据倾斜时我们又该用怎么的方案去解决不同的数据倾斜问题。 一、什么是Hive的数据倾斜       
hive数据倾斜
weixin_47699191的博客
12-15 2243
hive数据倾斜 1. join时产生数据倾斜 1.1 小表join大表 使用mapjoin 1.2 大表join大表 1.2.1 key为空值造成的影响 空值太多join时,会把所有key为空值的数据发送到同一个reduce中,发生数据倾斜 解决方法: 空值不重要的情况,先把空值过滤掉,在进行join 空值不能过滤,使用case when 对空值附上随机值,然后进行join,这样会把所有key为空值的数据发送到不同的reduce中去处理. 1.2.2 热点key 可以将热点数据和非热点数据分别进行处理
hive 数据倾斜
qq_43192537的博客
09-25 2668
hive 数据倾斜
大数据hive数据倾斜，hive-sql优化
08-17
大数据Hive数据倾斜、Hive-SQL优化 在大数据处理中，Hive是一个非常重要的工具，然而在实际应用中，数据倾斜和性能优化问题经常会出现。为了解决这些问题，我们需要了解Hive的性能调优、数据模型设计、数据倾斜判断...
null, message from server: “Host ‘xxx‘ is blocked because of many connection errors； unblock
科学的N次方
11-24 1万+
Host is blocked because of many connection errors; unblock with ‘mysqladmin flush-hosts’ 解决方法 环境：centos6.5，mysql5.1.17错误：Host is blocked because of many connection errors; unblock with ‘mysqladmin flu
oracle 安装 must be configured to display at least 256 colors 问题
科学的N次方
10-11 8220
Checking Temp space: must be greater than 120 MB. Actual 29477 MB Passed Checking swap space: must be greater than 150 MB. Actual 511 MB Passed Checking monitor: must be configured to displ
kafka的分区的leader和follower
科学的N次方
06-20 5789
在kafka中，每个topic都可以配置多个分区以及多个副本。每个分区都有一个leader以及0个或者多个follower,在创建topic的时，kafka会将每个分区的leader均匀的分配在每个broker上。我们正常使用kafka是感觉不到leader，follower的存在的。但其实，所有的读写操作都是由leader处理，而所有的follower都复制leader的日志数据文件，如果leader出现故障时，follower就会被选举为leader。所以，可以这样说： kafka中的leader负责处
hadoop、hbase、hive、zookeeper版本对应关系
科学的N次方
09-14 4189
hadoop与hbase哪些版本兼容？ hadoop与hive哪些版本兼容？ hbase与hive哪些版本兼容？ hbase与zookeeper哪些版本兼容？在安装hadoop生态组件的时候，第一步就是要确认好兼容性。以下是Hadoop和Hbase的兼容性：我整个的安装环境的 hadoop2.7.3+Hbase-1.2.4+hive-2.1.1+sqoop-1.99.7+zookeeper-
mysql 报com.mysql.jdbc.exceptions.jdbc4.CommunicationsException
科学的N次方
01-11 3661
早上看日志发现连接超时报错： Caused by: com.mysql.jdbc.exceptions.jdbc4.CommunicationsException: The last packet successfully received from the server was48477 seconds ago.The last packet sent successfully to the s
Flink部署报错 6123端口起不来
科学的N次方
04-19 3637
问题描述： 启动集群之后，报错为： org.apache.flink.runtime.net.ConnectionUtils - Failed to connect from address ‘/127.0.0.1’: Connection refused org.apache.flink.runtime.net.ConnectionUtils - Trying to connect to address localhost/127.0.0
hive数据倾斜大小表jion怎么解决
最新发布
07-08
<think>我们正在解决Hive中数据倾斜导致的大表与小表Join性能问题。根据引用内容，我们可以总结出以下解决方案： 1. **Map Join（小表足够小）**：当小表的大小不超过一定阈值（默认25MB）时，可以开启Map Join，将小表广播到所有Map任务的内存中，从而避免Reduce阶段，也就避免了数据倾斜。 - 设置参数：`set hive.auto.convert.join=true;` 和 `set hive.mapjoin.smalltable.filesize=25000000;`（可根据实际情况调整小表大小阈值） 2. **大表打散小表扩容（小表较大但不超过100MB）**：如果小表超过了默认的Map Join阈值，但大小不超过100MB，可以强制执行Map Join（引用[3]）。 - 使用提示：在查询中添加`/*+ MAPJOIN(small_table) */`，例如：`select /*+ MAPJOIN(b) */ a.key, a.value, b.value from big_table a join small_table b on a.key = b.key` 3. **大表打散小表扩容（小表较大，超过Map Join阈值）**：引用[1]中提到，如果小表比较大，可以采用“大表打散小表扩容”的方法。具体做法是将小表复制多份，并将大表的数据按照某个字段打散（例如，给大表的每条记录加上一个随机前缀），然后将小表也进行相应的扩容（例如，将小表的每条记录复制多份，每份对应一个随机前缀），这样可以将原本可能倾斜的key分散到不同的reduce任务中。 - 具体步骤（以引用[1]中的例子为例）： - 假设大表A，小表B，关联字段为key。 - 给大表A的每条记录添加一个随机前缀（0到n-1，n为扩容倍数，比如10），这样key变成`concat(rand() % n, key)`。 - 将小表B扩容n倍，即每条记录复制n份，并为每条记录添加一个固定的前缀（0到n-1），这样key变成`concat(i, key)`（i从0到n-1）。 - 然后进行关联：`A_mod.key = B_mod.key`，这样原本同一个key的数据会被分散到不同的reduce中。 4. **过滤倾斜key**：如果大表中存在少数几个key的数据量特别大，可以考虑先过滤掉这些倾斜的key，单独处理，然后再合并结果（引用[2]中提到的方法）。 5. **Skew Join**：Hive提供了Skew Join优化（引用[2]），通过设置参数`hive.optimize.skewjoin=true`和`hive.skewjoin.key`（默认100000）来启用。当某个key的记录数超过设定的阈值时，Hive会将该key的数据随机分发到多个Reduce任务中，从而避免单个Reduce任务处理过多数据。 6. **减少关联字段的数据量**：引用[2]中提到，如果大表关联大表，但实际只需要关联部分数据（比如只需要当天有行为的用户），可以先对其中一个表进行去重，然后再关联，从而减少关联的数据量。 针对大表与小表Join，最常用的是Map Join（当小表较小时）和打散扩容（当小表较大时）。下面我们详细说明这两种方法： ### 解决方案1：Map Join（小表足够小） 如果小表的大小在Hive配置的Map Join阈值内（默认25MB），则直接开启Map Join。 ```sql -- 设置参数 set hive.auto.convert.join=true; -- 开启自动Map Join转换 set hive.mapjoin.smalltable.filesize=25000000; -- 设置小表大小阈值（25MB） -- 执行查询 select /*+ MAPJOIN(small_table) */ big_table.id, big_table.data, small_table.info from big_table join small_table on big_table.key = small_table.key; ``` ### 解决方案2：大表打散小表扩容（小表较大） 当小表超过Map Join阈值，但又不是特别大（比如几百MB）时，我们可以使用打散扩容的方法。 假设我们设定一个扩容倍数n（例如10）： 1. 将大表打散：为每个key添加一个随机前缀（0到n-1） 2. 将小表扩容：复制n份，并为每份的key添加固定的前缀（0到n-1） ```sql -- 设置参数（可选，根据情况调整） set hive.exec.reducers.bytes.per.reducer=1000000000; -- 控制每个reducer处理的数据量 -- 打散大表，添加随机前缀 create temporary view big_table_mod as select concat(cast(floor(rand() * 10) as string), '_', key) as mod_key, -- 添加0-9的随机前缀 id, data from big_table; -- 小表扩容10倍，添加固定前缀 create temporary view small_table_mod as select concat(cast(num as string), '_', key) as mod_key, key, info from small_table lateral view explode(array(0,1,2,3,4,5,6,7,8,9)) nums as num; -- 复制10份，每份添加固定前缀 -- 关联打散后的大表和小表 select split(b.mod_key, '_')[1] as key, -- 去掉前缀，恢复原始key b.id, b.data, s.info from big_table_mod b join small_table_mod s on b.mod_key = s.mod_key; ``` 注意：这种方法会增加小表的数据量（n倍），所以n不能太大，否则小表会变得过大。同时，大表的数据量不变，但增加了随机前缀，使得数据被分散到不同的reduce中。 ### 解决方案3：Skew Join（针对大表中有倾斜key） 如果大表中存在倾斜的key（即某些key的数据量特别大），可以尝试使用Hive的Skew Join。 ```sql -- 设置参数 set hive.optimize.skewjoin=true; -- 开启Skew Join set hive.skewjoin.key=100000; -- 设置倾斜key的阈值（超过10万条记录） -- 执行查询 select a.key, a.value, b.value from big_table a join small_table b on a.key = b.key; ``` ### 总结 - 小表很小：直接用Map Join。 - 小表较大（超过Map Join阈值但可接受广播）：强制Map Join（引用[3]）。 - 小表较大且无法广播：使用大表打散小表扩容。 - 大表中有倾斜key：使用Skew Join。 请根据实际数据情况选择合适的方法。 §§相关问题§§ 1. Hive中Map Join的原理是什么？适用于什么场景？ 2. 如何判断Hive查询是否发生了数据倾斜？ 3. 除了大表与小表Join，还有哪些情况会导致Hive数据倾斜？ 4. 如何设置Hive的Map Join小表大小阈值？</think>### Hive 数据倾斜问题解决方案（大表与小表 Join） 针对大表与小表 Join 时的数据倾斜问题，以下是经过验证的解决方案： #### 1. **开启 MapJoin（最优方案）** 当小表符合尺寸要求时，**MapJoin 是最有效的解决方案**，它完全避免 Reduce 阶段从而规避数据倾斜： ```sql -- 启用自动 MapJoin 转换 SET hive.auto.convert.join = true; -- 调整小表尺寸阈值（默认 25MB） SET hive.mapjoin.smalltable.filesize = 100000000; -- 提升至 100MB -- 执行 Join（自动触发 MapJoin） SELECT /*+ MAPJOIN(small_table) */ big_table.id, small_table.info FROM big_table JOIN small_table ON big_table.key = small_table.key; ``` **原理**：将小表加载到所有 Map 任务内存中，直接完成 Join 操作[^1][^3]。 #### 2. **手动 MapJoin（强制广播）** 当小表略超阈值但内存允许时，强制广播： ```sql SELECT /*+ MAPJOIN(small_table) */ ... FROM big_table JOIN small_table ON ...; ``` 需确保小表不超过 **100MB**（超出可能导致 OOM）[^3]。 #### 3. **大表打散 + 小表扩容** 当小表过大无法广播时（如 100MB-1GB），采用分布式扩容方案： ```sql -- 步骤1：大表添加随机前缀（0-99） SELECT key, CONCAT(CAST(FLOOR(RAND() * 100) AS STRING), '_', key) AS rand_key, value FROM big_table; -- 步骤2：小表扩容 100 倍 SELECT CONCAT(num, '_', key) AS rand_key, value FROM small_table LATERAL VIEW EXPLODE(SPLIT(SPACE(99), ' ')) nums AS num; -- 生成 100 行 -- 步骤3：关联处理后的表 SELECT SPLIT(t1.rand_key, '_')[1] AS original_key, t1.value, t2.value FROM modified_big_table t1 JOIN expanded_small_table t2 ON t1.rand_key = t2.rand_key; ``` **优势**：将倾斜 Key 分散到多个 Reduce 处理[^1][^2]。 #### 4. **倾斜 Key 单独处理** 针对已知的倾斜 Key（如 NULL 或特定值）： ```sql -- 处理倾斜 Key SELECT * FROM big_table WHERE key IS NULL -- 倾斜部分 UNION ALL SELECT /*+ MAPJOIN(small_table) */ -- 正常部分 big_table.* FROM big_table JOIN small_table ON big_table.key = small_table.key WHERE big_table.key IS NOT NULL; ``` #### 5. **启用 Skew Join 优化** 通用倾斜处理（需 Hive 0.10+）： ```sql SET hive.optimize.skewjoin = true; SET hive.skewjoin.key = 100000; -- Key 超过 10W 条视为倾斜 SELECT ... FROM big_table JOIN small_table ON ...; ``` 倾斜 Key 会自动拆分到多个 Reduce[^2]。 --- ### **方案选择建议** | 场景 | 推荐方案 | 注意事项 | |------|----------|----------| | 小表 < 100MB | MapJoin | 最优解，避免 Reduce | | 小表 100MB~1GB | 大表打散 + 小表扩容 | 需计算扩容倍数 | | 存在热点 Key | 倾斜 Key 单独处理 | 需提前识别倾斜 Key | | 未知倾斜模式 | Skew Join | 通用但效率低于 MapJoin | > **关键参数调优**： > - `hive.mapjoin.smalltable.filesize`：根据集群内存调整 > - `hive.exec.reducers.bytes.per.reducer`：控制 Reduce 数据量（默认 1GB） > - `hive.optimize.skewjoin.key`：根据数据分布调整阈值 通过组合这些策略，可有效解决 90% 以上的大表-小表 Join 倾斜问题[^1][^2][^3]。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

科学的N次方

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值