大数据——Hive SQL优化

最新推荐文章于 2025-02-26 23:21:51 发布
最新推荐文章于 2025-02-26 23:21:51 发布
阅读量1.2k 收藏 5
点赞数 1
分类专栏： 大数据 文章标签： hive 大数据 sql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/glpghz/article/details/126840701
版权
本文介绍了HiveSQL的优化策略，包括减少SELECT字段数量、避免不必要的JOIN操作、解决数据倾斜问题、保持JOIN键一致以及处理空值。通过选择最优的JOIN顺序、使用sortby替换orderby、用groupby替代count(distinct)以及提前过滤空值，可以显著提升查询效率。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

大数据——Hive SQL优化

一、SELECT 字段尽可能少，数据过滤尽可能提前

在这里插入图片描述

二、能不用JOIN连接的就不用

在这里插入图片描述

三、数据倾斜问题

1、JOIN 优化
选用join key分布最均匀的表作为驱动表，并且大表放在右边，小表放在左边。

2、排序优化
sort by代替 order by.

3、少用count(distinct)
用group by代替 count(distinct)

select count(*) from (select uid from testmac group by uid) t
四、多表join时key保持一致

当对多个表进行join连接时，如果每个on子句都使用相同的连接键的话，那么只会产生一个MapReduce job，执行效率相对快。

五、去除空值和无意义的值

出现空值或无意义值时，如null，空字符串、-1等，在做join时这些空值就会非常集中，拖累进度。因此，若不需要空值数据，就提前写where语句过滤掉。若需要保留，将空值null的记录随机改为负值：

大数据 Hive - 实现SQL执行
善守者
01-08 1686
从图上看，join的MapReduce计算过程和前面的group by稍有不同，因为join涉及两张表，来自两个文件（夹），所以需要在map输出的时候进行标记，比如来自第一张表的输出Value就记录为<1, X>，这里的1表示数据来自第一张表。这样经过shuffle以后，相同的Key被输入到同一个reduce函数，就可以根据表的标记对Value数据求笛卡尔积，用第一张表的每条记录和第二张表的每条记录连接，输出就是join的结果。问题的答案，也就是这个神奇的工具就是Hadoop大数据仓库Hive。
小白篇(七)：大数据HiveSql优化
belialxing的专栏
11-08 459
原文地址： https://mp.weixin.qq.com/s?__biz=MzIxMzg5NzI4OQ==&mid=2247484028&idx=1&sn=de7f121af5b6beb8bf5fa3a9aae4a713&chksm=97ae9b5aa0d9124cd198970148b2410574776779b87b23b6a6d76ba09f7eab33612588416faf&token=1189979899&lang=zh_CN#rd .
HiveSQL调优手段有哪些?
abxzq19870214的博客
12-18 521
使用优化器参数，例如 hive.auto.convert.join 和 hive.optimize.sort.dynamic.partition，来调整优化器的行为。使用合适的分桶方式，例如按照经常使用的分组字段分桶。使用合适的存储格式，例如 ORC 或 Parquet，可以提高查询性能。使用合适的数据类型，例如使用 int 或 smallint 来存储较小的数值，以减少存储空间。使用索引提高查询性能，但要注意不要使用过多的索引，否则会影响写入性能。使用外部表存储大量数据，并使用分区存储少量数据。
大数据SQL调优专题——调优切入
最新发布
大数据知识分享
02-26 1234
大数据SQL调优专题——调优切入
hive中的空值处理
热门推荐
lv_hulk的博客
12-29 1万+
hive中的空值处理 用Sqoop往MySQL同步数据时，由于hdfs存储的数据中有null值或’’，导致同步数据失败。主要是hive sql中的空值造成的，所以今天就说一下怎么解决这个问题。 一.hive中空值分两种 （1）NULL hive中null实际在HDFS中默认存储为’\N’，通过查询显示的是’NULL’。 这时如果查询为空值的字段可通过语句：aaa is null 或者 aaa =’...
Hive表-----数据清洗
Xiayebuliang的博客
03-02 3060
敏感词一次加密和二次加密（可以采用试图创建另一个表） 过滤掉store_review中没有评分的数据
摸鱼大数据——Hive表操作——基本操作
weixin_65694308的博客
05-27 2060
业务数据文件在HDFS的默认存储路径: hdfs://node1:8020/user/hive/warehouse/数据库名称.db/表名称/业务数据文件。-- 该表的数据存放路径 hdfs://node1:8020/user/hive/warehouse/day06.db/outer_stu1。自定义表在HDFS的默认存储路径: hdfs://node1:8020/user/hive/warehouse/数据库名称.db/表名称。替换的时候注意: 替换的时候，是使用新的字段信息替换原有的所有字段。
摸鱼大数据——Hive调优4-6
weixin_65694308的博客
06-04 905
- 错误:[08S01][2] Error while processing statement: FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask。过程: 先将a表和b表的所有数据全部加载出来（全表扫描），然后进行join关联操作，最后对join后的数据进行age>=18的过滤操作。默认值为: false。
摸鱼大数据——Hive官网文档和Hive数据库操作
weixin_65694308的博客
05-27 1179
地址。
摸鱼大数据——Hive表操作——分桶表
weixin_65694308的博客
05-29 1570
分桶表特点: 会产生分桶文件。效率上注意: 查询数据的时候如果使用了分桶字段那么会提升数据查询效率（数据过滤where、join、分组、抽样查询）；否则会进行全表扫描分桶与分区的区别:1- 分桶字段必须是原有的字段名称2- 分桶产生的是多个文件；而分区产生的是多级目录3- 分区和分桶可以同时用在同一张表中。但是只能先分区，再分桶；不能先分桶再分区，因为我们不能在文件中在去建立文件夹。
摸鱼大数据——Hive基础理论知识——Hive环境准备
weixin_65694308的博客
05-26 1071
后台启动hiveserver2服务: nohup hive --service hiveserver2 &方式1: sh 脚本 注意: 需要进入脚本所在目录,但脚本有没有执行权限不影响执行。方式2: ./脚本 注意: 需要进入脚本所在目录,且脚本必须有执行权限。方式3: /绝对路径/脚本 注意: 不需要进入脚本所在目录,但必须有执行权限。connect jdbc:hive2://node1:10000连接。注意: hive直接连接成功,直接可以编写sql语句。
hive 语句关键词 执行的优先级
山水青一人尤
12-12 800
在 Hive 中编写 SQL 语句时，各个关键词（比如SELECTFROMWHEREGROUP BYORDER BY等）的执行顺序对于理解和优化查询非常重要。
SQL select语句
weixin_44614983的博客
02-17 537
select 列名 from where group by having order by 查询语句中select from where group by having order by的执行顺序 1.查询中用到的关键词主要包含六个，并且他们的顺序依次为 select–from–where–group by–having–order by 其中select和from是必须的，其他关键词是可...
Hive SQL数据查询基础
qq_35447918的博客
09-13 4077
教材第四章Hive SQL数据查询基础实验 1 Hive SQL数据查询语句 首先查看表sogou500w的列字段属性 hive> desc sogou500w; OK ts string uid string keyword stri...
hive函数参考手册
全技术调调
06-13 2815
原文见：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF 1.内置运算符 1.1关系运算符 运算符 类型 说明 A = B 所有原始类型 如果A与B相等,返回TRUE,否则返回FALSE A == B 无 失败，因为无效的语法。 SQL
hive补全连续或非连续空值数据sql
chimchim66的博客
12-01 1795
hive补全连续或非连续空值数据sql
Hive with项目实战：计算标签覆盖率
qq_40771567的博客
04-25 674
今天做项目，要计算用户的标签覆盖率，就是实现这样一个表格： 根据用户的最近访问时间，计算这些用户含有某个标签属性的占比。 其实做起来不难，但是如何实现需要设计一个思路。 Sql思路： 1、先根据日期筛选用户 2、计算每个标签不为空的数量/该日期内的用户总数 其实sql做起来很简单，但是我们进行简单的优化 1、将该日期内的用户总数通过with加载到内存 2、通过脚本对各个日期维度进行计算，避免写重复sql，最后再对表进行合并 代码： 1、根据日期筛选用户 DROP TABLE IF
hive SQL 过滤不含数字的字段
半壁江山009的博客
03-10 5925
需求： 有表 flow_table (host，request_path, cnt) 需要用hiveSQL过滤表中 request_path不含数字的host和request; 方法： 使用hive中 RLIKE 这个关键字 介绍： RLIKE 子句是 Hive 中这个功能的一个扩展， 其可以通过 Java 的正则表达式这个更强大的语言来指定匹配条件 具体操作： select host, request_path from flow_table where not (request_path Rlike
代码覆盖率浅谈
weixin_34248487的博客
03-29 3133
在做单元测试时，代码覆盖率常常被拿来作为衡量测试好坏的指标，甚至，用代码覆盖率来考核测试任务完成情况，比如，代码覆盖率必须达到80％或 90％。于是乎，测试人员费尽心思设计案例覆盖代码。用代码覆盖率来衡量，有利也有有弊。本文我们就代码覆盖率展开讨论，也欢迎同学们踊跃评论。 首先，让我们先来了解一下所谓的“代码覆盖率”。我找来了所谓的定义： 代码覆盖率 ＝ 代码的覆盖程度，一种度量方式。 ...
Hadoop大数据：Hive入门与核心概念解析
本文将深入探讨Hadoop大数据开发中的关键技术——Hive，一个由Facebook开源并设计用于处理大量结构化日志数据的工具。Hive的出现是为了应对MapReduce编程的复杂性，MapReduce的传统编程模式对于非专业开发者来说较为...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值