hive sql性能优化

最新推荐文章于 2024-11-26 11:59:09 发布
最新推荐文章于 2024-11-26 11:59:09 发布
阅读量406 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 大数据 电商离线数仓 文章标签： hive sql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_42908473/article/details/120791124
本文探讨了大数据处理中的Join操作优化策略，包括创建中间表、使用子查询减少关联复杂性，以及如何处理NULL值和数据倾斜。提出通过选择合适的驱动表、列裁剪和filter操作来减小数据量。此外，介绍了BroadcastJoin和分层汇总等技术，以及应对数据倾斜的随机数处理方法。同时，强调了调整任务、executor和内存参数对性能的影响。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1.join
(1)建中间表(大表重复使用,逻辑重复使用,关联多逻辑复杂)
(2)建子查询(减少数据量,减少大表关联)
2.on
(1)null值处理
(2)关联字段唯一
(3)数据倾斜

  • 过滤倾斜key(关于驱动表的取，用join key分布最均匀的表作为驱动表
    做好列裁剪和filter操作，以达到两表做join的时候，数据量相对变小的效果)
  • BroadCastJoin(即map join)(使用map join让小的维度表（1000条以下的记录条数） 先进内存。在map端完成reduce)
  • 分层汇总
  • 拆分倾斜key
  • 随机数处理倾斜key(大表Join大表：
    把空值的key变成一个字符串加上随机数，把倾斜的数据分到不同的reduce上，由于null值关联不上，处理后并不影响最终结果)
    -where+分区过滤

配置参数
1.调整task(调整处理文件大小,调整partition个数)
2.调整executor
3.调整memory

如何优化Hive的查询性能？请详细说明查询优化的各个层面（SQL优化、配置优化、资源优化等）和具体方法。
chunzhi128的博客
05-30 985
Hive查询性能优化涉及SQL语句优化、配置参数调整、数据存储优化和资源分配等多个方面。SQL优化包括尽早过滤数据、避免笛卡尔积、小表JOIN优化和减少子查询；配置参数方面需合理设置执行引擎、并行度、内存参数和向量化执行；数据存储优化建议采用ORC/Parquet格式、数据压缩以及分区分桶策略；资源优化需调整YARN配置和JVM重用。此外，还需处理数据倾斜问题、收集统计信息分析执行计划，并通过监控工具持续优化。综合运用这些方法可以显著提升Hive查询性能。
Hive Sql 性能优化——看这一篇就够啦！
热门推荐
cindy407的博客
05-29 1万+
今天听组内SQL小王子分享了一篇Hive Sql性能优化的总结报告，甚觉精彩，赶紧来分享给大家！！ 一、尽量使用索引，避免全表查询 ① 在where 和 order by 常用的字段上创建索引，提升效率的核心！ ② where子句中尽量避免进行nul值判断，少使用!=,<>等操作符，等号左边避免函数、算数和其它表达式运算，这此操作都会导致索引无效，启动全表查询 ③ where 子句中将...
深入浅出数据仓库中SQL性能优化之Hive篇
07-02
Hive查询生成多个map reduce job，一个map reduce job又有map，reduce，spill，shuffle， sort等多个阶段，所以针对hive查询的优化可以大致分为针对MR中单个步骤的优化，针对MR全局的优化以 及针对整个查询的优化。
数据仓库中的 SQL 性能优化（Hive篇）
weixin_34198583的博客
08-31 735
2019独角兽企业重金招聘Python工程师标准>>> ...
hive-sql 性能优化
a123147abc的博客
06-13 371
hive sql 性能优化
HiveSql性能优化
攻城狮Kevin
06-03 641
一、解决数据倾斜 1. 过滤掉null部分 key值存在大量空字段，会hash到同一reduce，造成reduce长尾，将null 值过滤掉 举例： select user_id from logs where statdate = '20170815' where user_id is not null; 2. hive join倾斜：设置join skew参数解决 set hive.optimize.skewjoin = true; set hive.skewjoin.key = sk
HIVE SQL 优化
weixin_46010244的博客
10-16 1706
因为count distinct操作需要用一个Reduce Task来完成，这一个Reduce需要处理的数据量太大，就会导致整个Job很难完成，一般count distinct使用先group by再count的方式替换，虽然会多用一个Job来完成，但在数据量大的情况下，这个绝对是值得的。数据倾斜的原理都知道，就是某一个或几个key占据了整个数据的90%，这样整个任务的效率都会被这个key的处理拖慢，同时也可能会因为相同的key会聚合到一起造成内存溢出。其中在开发过程中主要涉及到的可能是SQL优化这块。
Hive SQL性能优化
02-26
### Hive SQL性能优化详解 #### 一、Hive SQL执行顺序及原理 了解Hive SQL的执行顺序，有助于我们写出更高效、更高质量的代码。Hive SQL的执行大致可以分为以下几个步骤： 1. **确定数据源**：首先确定查询的数据...
HiveSQL优化
最新发布
AGI爱好者_数仓&可视化&数据分析工程师_Vae’伯乐‘
11-26 1975
将那些产生倾斜的key和对应v2的数据, 从当前这个MR中移出去, 单独找一个MR来处理即可, 处理后, 和之前的MR进行汇总结果即可。候, 将其提前配置设置好即可, 在后续运行的时候, 程序会自动将设置的key的数据单独找一个MR来进行处理即可, 处。当前这个k2的数据存在数据倾斜, 自动将其剔除, 交由给一个单独的MR来处理即可,两个MR处理完成后, 将结果基于。思路: 在执行MR的时候, 会动态统计每一个 k2的值出现重复的次数, 当这个重复的次数达到一定的阈值后, 认为。
Hive SQL性能优化：MapReduce阶段策略
"数据仓库中的SQL性能优化（Hive篇）" 在数据仓库中，SQL性能优化对于提升大数据处理效率至关重要，特别是在使用Hive这样的分布式数据处理框架时。Hive基于MapReduce运算模型，其查询执行涉及到多个MapReduce作业，...
浅谈Hive SQL的优化
Code_zhu的博客
02-17 6667
目前团队的数据处理都在Hadoop集群上， 一是因为需要处理的数据量都是亿级的，这种规模的数据适合用Hadoop集群并行处理； 二是免除了分库分表给查询处理上带来的麻烦。Hive是基于Hadoop的一个数据仓库工具，它将存储在HDFS上的结构化的文件映射成一张关系型数据库表，提供简单的SQL查询功能。本文结合Hive SQL的运行原理谈一谈Hive SQL的优化问题。 1. 数据过滤应尽早做，同时只选择所需要的列 这个原则在传统的RDMS数据中应该也适用，因为数据提前过滤了之后进行join或者其他操
HiveSQL详细和优化
08-05
HiveSQL详细和优化，以及部分个人点评 This is a brief tutorial that provides an introduction on how to use Apache Hive HiveQL with Hadoop Distributed File System. This tutorial can be your first step towards becoming a successful Hadoop Developer with Hive.
hive性能优化，sql优化
ustbbsy的博客
07-18 367
1、作业初始化 map reduce作业初始化的时间是比较长的，Hadoop就像吞吐量巨大的轮船，启动开销大，如果每次只做小数量的输入输出，利用率将会很低。所以用好Hadoop的首要任务是增大每次任务所搭载的数据量。 使用CASEWHEN代替子查询,减少生成的mapreduce 2、join 连接时，小表在前，大表在后 3、大数据量，>= ,<=，替换between and ...
HIVE大数据平台SQL优化分享
wowulita123的博客
05-11 1364
此文章是大数据平台运维组从多维度参数（CPU，内存，运行时长等）筛选出TOP任务，联合数据开发人员进行优化，最终出具优化方案优化跑批作业的业务逻辑，SQL逻辑等，并跟进方案落地和报告整理。
Hive SQL调优技巧
2301_77257988的博客
03-04 321
数据分区是一种将数据按照某个字段进行分组存储的技术，可以有效减少查询时的数据扫描量。通过分区字段进行数据过滤，可以只对目标分区进行查询，加快查询速度。优化案例优化前：1.优化后：1.反面案例代码写死日期，一次性不合理扫描2年+日志数据。map数超20万，而且会越来越大，直到跑不出来。1.3.5 使用索引在Hive SQL中，可以通过创建索引来加速查询操作。通过在关键字段上创建索引，可以减少数据扫描和过滤的时间，提高查询性能。
大数据之Hive：Hive优化
weixin_43597208的博客
06-09 458
目录1）MapJoin2）行列过滤3）列式存储4）采用分区技术5）合理设置Map数6）合理设置Reduce数 1）MapJoin join就是需要把两份数据关联起来，如果一份数据比较大（t1），一份比较小(t2)，可以采用mapjoin，具体实现：把t2的全部数据一次性加载，t1的数据一条条处理，这样就没有shuffle过程，不需要reduce，是相比于reducejoin的效率要高。适合大表和小表进行关联。 如果不指定MapJoin或者不符合MapJoin的条件，那么Hive解析器会将Join操作转换成C
Hivesql常用优化技巧
weixin_56175042的博客
11-05 7269
首先介绍下什么是HIve？ 1.基于Hadoop的开源的数据仓库工具，用于处理海量海量结构化数据。 2.Hive把HDFS中的结构化的数据文件映射成数据表。 3.Hive通过HiveSQL进行解析和转换，最终映射成一系列在hadoop上运行的mapreduce任务，通过执行这些任务完成分析和处理。 4.HiveSql和Mysql一样，都遵循着SQL的标准，因此它们很多语句都是一样的。 一、先复习下SQL的语句的结构 SELECT * （必须） FROM 表（数据源） WHERE
hive SQL优化
manweizhizhuxia的博客
05-05 1972
1、多次INSERT单次扫描表 使用场景： --当需要多次从一张分区表查出某分区的数据放到一张新表时，下边SQL会多次扫描表。 INSERT INTO temp_table_20201115 SELECT * FROM my_table WHERE dt ='2020-11-15'; INSERT INTO temp_table_20201116 SELECT * FROM my_table WHERE dt ='2020-11-16'; 使用方法： --只用扫描一次表。 FROM my_table IN
Hive参数与性能企业级调优（建议收藏）
大数据星球-浪尖
06-03 604
Hive作为大数据平台举足轻重的框架，以其稳定性和简单易用性也成为当前构建企业级数据仓库时使用最多的框架之一。但是如果我们只局限于会使用Hive，而不考虑性能问题，就难搭建出一个完美的数仓，所以Hive性能调优是我们大数据从业者必须掌握的技能。本文将给大家讲解Hive性能调优的一些方法及技巧。Hive性能调优的方式为什么都说性能优化这项工作是比较难的，因为一项技术的优化，...
hiveSQL性能优化
06-06
优化Hive SQL的性能可以从以下几个方面入手： 1. 数据压缩：使用压缩格式（如snappy、LZO、gzip等）存储数据，可以减少磁盘IO和网络传输...以上是一些常见的Hive SQL性能优化方法，具体方法需要根据具体情况进行调整。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值