Hive专题-数据倾斜定位篇

最新推荐文章于 2025-05-08 16:34:34 发布
最新推荐文章于 2025-05-08 16:34:34 发布
阅读量558 收藏 4
点赞数 1
CC 4.0 BY-SA版权
分类专栏： 大数据 Hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_28680977/article/details/119868715
本文聚焦于Hive数据倾斜的定位方法，通过分析Yarn日志和理解SQL执行原理，找出导致倾斜的Join操作。当reduce任务长时间运行或处理数据不均时，可能面临倾斜问题。通过观察日志中的shuffle信息，可以识别倾斜键并采取相应策略优化。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

对于如何解决数据倾斜，网上的资料也有很多。之前也总结过关于hive和spark的解决方案文章：

Spark数据倾斜之骚操作解决方案

Hive千亿级数据倾斜解决方案

数据开发必经之路-数据倾斜

但是对于如何定位到数据倾斜，大多数同学或许都是根据经验判断，可能对于某个reduce一直处于99%进度或者一个任务计算处理超过1个小时以上就可以判定为倾斜问题了。但是无法证明其自己的猜测或者事后进行数据抽样。那么本篇仅以Hive为例，来分享下如何在事后定位到是否倾斜以及倾斜对应的key。

1、首先从yarn log层面入手

2、倾斜其本质是数据不均匀问题，一般是在reduce端发生，那么需要查看reduce端日志

图片

3、如果有同学看过Hive专题-从SQL聊Hive底层执行原理文章，那么就可以定位到具体某段sql或者某个Operator Task可能会出现shuffle，比如join场景。

图片

从上图中的信息中可以看到是常规的Join类型，其倾斜的key以及rows counter都有很明显的提示，那么就可以根据其信息进行针对性的解决

(15)Hive调优——数据倾斜的解决指南
爱吃辣条的博客
02-10 4094
Hive调优——数据倾斜指南
【硬刚大数据之面试篇】2021年从零到大数据专家面试篇之Hive篇
微信搜：import_bigdata，大数据领域硬核原创作者
08-12 1703
欢迎关注博客主页：https://blog.youkuaiyun.com/u013411339 欢迎点赞、收藏、留言 ，欢迎留言交流！本文由【王知无】原创，首发于 优快云博客！本文首发优快云论坛，未经过官方和本人允许，严禁转载！ 本文是对《【硬刚大数据之学习路线篇】2021年从零到大数据专家的学习指南(全面升级版)》的面试部分补充。 硬刚大数据系列文章链接： 2021年从零到大数据专家的学习指南(全面升级版) 2021年从零到大数据专家面试篇之Hadoop/HDFS/Yarn篇 2.
Hive中如何定位数据倾斜
qq_42160456的博客
01-03 1347
hive定位数据倾斜及通用的解决方案
实操 | Hive 数据倾斜问题定位排查及解决
hellojoy的博客
05-13 3519
实操 | Hive 数据倾斜问题定位排查及解决 多数介绍数据倾斜的文章都是以大篇幅的理论为主，并没有给出具体的数据倾斜案例。当工作中遇到了倾斜问题，这些理论很难直接应用，导致我们面对倾斜时还是不知所措。 今天我们不扯大篇理论，直接以例子来实践，排查是否出现了数据倾斜，具体是哪段代码导致的倾斜，怎么解决这段代码的倾斜。 当执行过程中任务卡在 99%，大概率是出现了数据倾斜，但是通常我们的 SQL 很大，需要判断出是哪段代码导致的倾斜，才能利于我们解决倾斜。通过下面这个非常简单的例子来看下如何定位产生数据
Hive 数据倾斜问题定位排查及解决
qq_41919792的博客
08-01 439
Hive数据倾斜问题定位排查及解决
hive的数据倾斜解决（Map端、reduce 端 、join中）
weixin_40809627的博客
11-02 8096
hive 的数据倾斜一般我们可以分为 Map倾斜、reduce 倾斜和join 倾斜这几种。
大数据新视界 -- Hive 集群搭建与配置的最佳实践（2 - 16 - 13）
【青云交】华为云云享专家，在技术圈个人影响力位居前17，跻身博客之星 TOP23。同时荣登【原力榜、作者周榜、领军人物和综合热榜】四榜榜首，破优快云排行榜记录！苏州地区各榜也统统拿下榜首之位，实力爆棚！非常感谢全网十多万粉丝的喜欢和关注！
12-20 5233
本文围绕 Hive 集群搭建与配置，详述硬件选型、软件安装、配置优化、数据布局及高可用性等方面，含丰富案例与代码，具实用价值。
大数据领域 Hive 入门指南：从基础到实战
最新发布
AI天才研究院
05-08 834
随着企业数据规模从TB级向PB级跨越，传统关系型数据库（如MySQL）在海量数据存储与分析场景中逐渐显现性能瓶颈。Hive作为Apache基金会旗下基于Hadoop的数据仓库工具，通过类SQL语法（HiveQL）将复杂的MapReduce任务透明化，使数据分析师无需掌握Java编程即可完成大规模数据处理。
大数据新视界 -- Hive 数据生命周期管理：数据归档与删除策略（2 - 16 - 11）
【青云交】华为云云享专家，在技术圈个人影响力位居前17，跻身博客之星 TOP23。同时荣登【原力榜、作者周榜、领军人物和综合热榜】四榜榜首，破优快云排行榜记录！苏州地区各榜也统统拿下榜首之位，实力爆棚！非常感谢全网十多万粉丝的喜欢和关注！
12-19 4731
本文聚焦 Hive 数据生命周期管理，详述数据归档与删除策略，涵盖基于时间和访问频率的归档、手动与自动删除及注意事项，具实用价值。
大数据开发工程师必懂的Hive调优与实战保姆指南
大模型大数据攻城狮的专栏
08-25 1787
一、数据仓库的定义与传统数据仓库的挑战数据仓库是什么呢？简单来说，它是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合，主要目的是支持管理决策过程。在传统的数据仓库环境中，随着数据量不断地增长，单节点的关系型数据仓库逐渐暴露出一些问题。当处理海量数据时，它们会面临性能瓶颈和扩展性的难题。想象一下，如果一个企业的数据量越来越大，传统的数据仓库就可能会变得越来越慢，甚至无法及时处理所有的数据，这就会影响企业的决策效率。二、Hive 的诞生背景与作用。
用sample算子找数据倾斜的key
张小小凡
05-19 218
object Sample找数据倾斜的key { def main(args: Array[String]): Unit = { val wordCount = new SparkConf().setMaster("local[*]").setAppName("wordCount") val sc = new SparkContext(wordCount) val list: List[String] = List("a", "a", "a", "a", "a", "a", "a
手把手教你解决 Hive 的数据倾斜
JIE的博客 --- moon_coder
05-25 3335
在处理某些大文件数据时，由于其源压缩格式不能进行拆分，例如：Gzip、Snappy，导致在处理这些数据时，只能将其放在一个 MapTask 中进行处理，从而产生数据倾斜。在多维聚合计算时，如果进行分组聚合的字段过多，且数据量很大，Map 端的聚合不能很好地起到数据压缩的情况下，会导致 Map 端产出的数据急速膨胀，导致作业产生 OOM。产生数据倾斜的根本原因是在进行 Shuffle 流程后，导致 Key 的分布不均匀，造成某些 Reduce 处理的数量较大，形成数据倾斜，导致整个任务的执行效率下降。
Hive数据倾斜
一往无前
01-17 1606
这两天有个hive的任务跑的特别慢，看日志是reduce阶段卡在了99%，虽然任务成功了，但是总耗时4个小时。。。这肯定是无法忍受的。下面记录一下调优的过程。 工作中的代码涉敏，这边用简单的示例SQL。 select coalesce(a.id,b.id), age,name,course, grade from ( select id, age, name from tab...
Spark数据倾斜定位及解决方案
m0_48457267的博客
03-19 2463
因为自己编写的代码的bug，以及偶然出现的数据异常，也可能会导致内存溢出。此外，倒数第一列显示了每个task处理的数据量，明显可以看到，运行时间特别短的task只需要处理几百KB的数据即可，而运行时间特别长的task需要处理几千KB的数据，处理的数据量差了10倍。：该方案通常无法彻底解决数据倾斜，因为如果出现一些极端情况，比如某个key对应的数据量有100万，那么无论你的task数量增加到多少，这个对应着100万数据的key肯定还是会分配到一个task中去处理，因此注定还是会发生数据倾斜的。
Spark性能优化之道——解决Spark数据倾斜
学海无涯
02-09 1760
本文结合实例详细阐明了Spark数据倾斜的几种场景以及对应的解决方案，包括避免数据源倾斜，调整并行度，使用自定义Partitioner，使用Map侧Join代替Reduce侧Join，给倾斜Key加上随机前缀等。摘要本文结合实例详细阐明了Spark数据倾斜的几种场景以及对应的解决方案，包括避免数据源倾斜，调整并行度，使用自定义Partitioner，使用Map侧Join代替Reduce侧Join，...
hive 模拟定位数据倾斜到具体sql
weixin_47699191的博客
08-05 739
用户信息表 select * from b; +-------+---------+--+ | b.id | b.name | +-------+---------+--+ | 1 | 张三 | | 2 | 李四 | | 3 | 赵六 | +-------+---------+--+ 用户爱好记录表 select * from c; +-------+----------+--+ | c.id | c.aihao | +-------+----
ODPS_数据倾斜查看key分布的通用方案_200628
__init__的博客
06-28 487
产生数据倾斜的通用方案 知道数据倾斜了，但无法获知数据倾斜的key信息，可以使用以下方法查看数据倾斜。 假如select * from tba join tbb on tba.id=tbb.id; 产生了数据倾斜 可以执行如下语句来查看key的分布： select left.key,left.cnt*right.cnt from(select key,count(*) as cnt from tba group by key) as left join (select key,count(*) as c
数据倾斜问题
w1732688672的博客
08-11 789
hive底层使用MR, 也有参数会自动将common join(reduce) 转为 map join 默认为false, 需手动开启, 默认大小是25M以内会cache;否则给倾斜key对用的数据加盐操作,打上n以内的随机数,将需要join的另一个RDD的每条数据膨胀成n条数据,打上0~n的前缀,如果拆分出倾斜key的两个RDD中有一个是小表,则采用map端join, 广播出去,剩下的两个非倾斜key的RDD做join,不会有数据倾斜,需要join的另一个RDD中的对应key也拆分出来,...
Spark如何确定数据倾斜的key
weixin_45912631的博客
12-01 1141
使用sample抽样获取数据倾斜的key object SparkDataSkew { def main(args: Array[String]): Unit = { val sparkConf: SparkConf = new SparkConf() .setMaster("local") .setAppName("data_skew_key") val sparkContext = new SparkContext(sparkConf) val rd
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

进击吧大数据

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值