【hive】limit查询优化

最新推荐文章于 2024-11-27 18:25:16 发布
原创 最新推荐文章于 2024-11-27 18:25:16 发布 · 2.6k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hive

本文介绍了Hive中limit查询的优化方法，通过开启hive.limit.optimize.enable参数，配合hive.limit.row.max.size和hive.limit.optimize.file进行数据源抽样，以减少全量查询。然而，这种方式可能使某些有用数据未被抽中。优化还包括配置文件的调整，如hive-site.xml和hive-default.xml，以及命令行参数和HQL中的SET关键字设定。

limit不优化会全部查询后，再返回部分

优化后：对数据源抽样返回

开启优化参数：

hive.limit.optimize.enable=true //开启对数据源进行采样的功能

hive.limit.row.max.size=100000 //设置最小采样容量。默认10万

hive.limit.optimize.file=10 //可抽样的最大文件数。默认10个

 

缺点：可能输入中有用的数据永远都不会被抽样到。

 

 

（1）配置文件

Hive 的配置文件包括：

　　A.　用户自定义配置文件：$HIVE_CONF_DIR/hive-site.xml

　　B.　默认配置文件：$HIVE_CONF_DIR/hive-default.xml

用户自定义配置会覆盖默认配置。

另外，Hive 也会读入 Hadoop 的配置，因为 Hive 是作为 Hadoop 的客户端启动的，Hive 的配 置会覆盖 Hadoop 的配置。

配置文件的设定对本机启动的所有 Hive 进程都有效。

<property>
    <name>hive.limit.optimize.enable</name>
    <value>true</value>
</property>

<property>
    <name>hive.limit.row.max.size</name>
    <value>100000</value>
</property>
 
<property>
 &
最低0.47元/天 解锁文章
优化 | Hive 简单查询 FetchTask
SmartSi
08-16 721
摘要： Hive的FetchTask机制通过绕过MapReduce/Tez/Spark引擎，直接从存储层读取数据，显著优化简单查询性能。核心配置参数hive.fetch.task.conversion（默认more）控制其行为，支持none（禁用）、minimal（仅基础查询）和more（扩展支持列筛选和过滤）。配合hive.fetch.task.conversion.threshold（默认1GB）可避免大数据量误触发。通过EXPLAIN查看Stage-0可确认是否启用FetchTask。该机制将简单查询
HIVE查询优化
初心江湖路的博客
02-20 1044
所有的调优都离不开对CPU、内存、IO这三样资源的权衡及调整 Hive QL的执行本质上是MR任务的运行，因此优化主要考虑到两个方面：Mapreduce任务优化、SQL语句优化 一、Mapreduce任务优化 1、设置合理的task数量 这里有几个考虑的点，一方面Hadoop MR task的启动及初始化时间较长，如果task过多，可能会导致任务启动和初始化时间远超逻辑处理时间，这种情况白白浪费了...
Hive优化
weixin_30929295的博客
06-21 266
hive.optimize.cp=true：列裁剪hive.optimize.prunner：分区裁剪hive.limit.optimize.enable=true：优化LIMIT n语句hive.limit.row.max.size=1000000：hive.limit.optimize.limit.file=10：最大文件数 1. 本地模式(小任务)：需要满足以下条件： 　　1.job的输入...
hive sql常用函数总结
weixin_42487673的博客
04-02 4093
1. limit 与offset用法 1. LIMIT [参数1]--m，参数2--n； #表示从跳过m条数据开始取n行数据 #参数1为可选参数，表示跳过m条数据（默认为0）， -- eg:1表示从第二行开始 #参数2为必选参数，表示取几行数据 -- eg1： SELECT * FROM table LIMIT 5; //检索前 5 个记录行 等价于 SELECT * FROM table LIMIT 0,5; //检索前 5 个记录行 -- eg2： SELECT * FROM tabl...
查询前几条记录
03-17
NULL 博文链接：https://tanghaidi.iteye.com/blog/487512
hive优化
weixin_34174105的博客
10-17 146
2019独角兽企业重金招聘Python工程师标准>>> ...
Hive的limit、offset
早拾碗吧的博客
05-23 994
【代码】Hive的limit、offset。
hive常见的优化方案ppt
12-15
6. **启用MapReduce严格模式**：`hive.exec.mapreduce.strict.mode`开启后，Hive会拒绝一些可能导致性能下降或资源浪费的查询，如未指定分区的查询和无`LIMIT`的`ORDER BY`。 7. **单个Reducer处理多组聚合**：`...
精选资源
Hive SQL性能优化
02-26
### Hive SQL性能优化详解 ...综上所述，通过对Hive SQL执行顺序的理解以及采用合适的优化策略，可以显著提升查询性能。在实际应用中，开发者应当根据具体需求灵活运用这些技巧，以达到最佳效果。
Hivesql里的limit使用
热门推荐
weixin_42201058的博客
08-29 3万+
在hive表前1000行里，过滤出不重复的refid,imsi。 错误的写法： select distinct refid,imsi from HIVE_D_MT_UU_H_SPARK limit 1000; 会去读取全表，把0~1000行的不重复refid,imsi显示出来。 正确的写法： select distinct refid,imsi from (select * from H...
Hive 使用 LIMIT 指定偏移量返回数据
qq_36382892的博客
03-19 1825
LIMIT 子句可用于限制SELECT语句返回的行数。LIMIT 接受一个或两个数字参数，这两个参数必须都是非负整数常量。第一个参数指定要返回的第一行的偏移量（从Hive 2.0.0开始），第二个参数指定要返回的最大行数。当只提供一个参数时，它表示最大行数，偏移量默认为0。
Hive优化指南
TMH_ITBOY的博客
02-23 782
Hive作为大数据分析领域常用的仓库工具，即使是现在流式计算如火如荼背景下，Hive依然倍受各大厂商挚爱。 使用Hive过程中，面对各种各样的查询需求，需要具有针对性的优化。下面内容就是摘抄自《Hadoop 数据仓库实践》一书中关于Hive优化部分内容。在此，感谢作业的辛勤付出。 部分优化已经用于我的实际工作中。比如使用ORC存储文件、启用压缩、开始向量化等。此处记录下来，仅为学习和加强记忆。 1. 启用压缩 压缩可以使磁盘上的数据量变小，例如，文本文件格式能够压缩40%甚至更高的比例，这样可以通过降低I/
HIVE介绍（五）_hive limit
2401_88972089的博客
11-27 1068
UDF通常是一个输入对应一个输出，应用场景有：根据身份证号判断该用户年龄自定义UDF需要继承UDF并重写evaluate方法UDTF为一个输入多个输出，应用场景有：根据登录的信息拆分成多个字段输出继承GenericUDTF，重写实现initialize（定义输出参数的名字和类型）, process, close三个方法，用来解析事件字段自定义函数相比json解析：自定义函数方便定位错误。
Hive查询
weixin_64420247的博客
03-27 1112
一、创建表并录入数据，再进行全表查询二、where查询三、distinct 去重四、limit(限制五条数据查询)五、排序2 .order 全局排序3.sort 全局未必有序。
hive优化总结
sujins5288的博客
01-15 459
在hive体系结构文章中我们说过hive的执行依赖于底层的MapReduce作业，因此对hadoop作业的优化或者对MapReduce作业的调整是提高hive性能的基础。如果没有适当的调整，即使查询hive中的一个小表，有时也会耗时数分钟才会得到结果。在此我们通过下面几种方式的调整，可以大大提高hive的性能。 1.启用压缩  压缩可以使磁盘上存储的数据量变小，对于文本文件格式能够压缩45%甚...
hive 结合执行计划 分析 limit 执行原理
淡定一生2333的博客
01-24 4182
在hive查询中要限制查询输出条数， 可以用limit 关键词指定，如 select columnname1 from table1 limit 10; 这样hive将输出符合查询条件的10个记录，从根本上说， hive是hadoop提交作业的客户端，它使用antlr词法语法分析工具，对SQL进行分析优化后翻译成一系列MapReduce作业，向hadoop提交运行作业以得到结果. 看一条简单的SQL语句： selectdeviceidfromt_aa_pc_logwhere...
Hive limit 分页、 row_number()分页
weixin_44991038的博客
10-20 1473
Hive分页、 limit分页、row_number()分页
hive SQL查询优化指南
最新发布
06-05
### Hive SQL 查询性能优化指南 #### 1. 避免全表扫描 全表扫描是导致查询性能下降的主要原因之一。可以通过为常用过滤条件字段创建索引或分区来减少扫描的数据量[^1]。例如，对于时间序列数据，可以按日期进行分区。 ```sql CREATE TABLE sales ( id BIGINT, amount DOUBLE, sale_date STRING ) PARTITIONED BY (year INT, month INT); ``` #### 2. 使用适当的JOIN类型 在Hive中，MAP JOIN可以显著提高小表与大表连接的性能。如果小表能够完全加载到内存中，则可以使用MAP JOIN[^4]。 ```sql SET hive.auto.convert.join=true; SELECT a.id, b.name FROM big_table a JOIN small_table b ON a.id = b.id; ``` #### 3. 合理设置Reducer数量 默认情况下，Hive会根据输入数据大小自动计算Reducer的数量，但这并不总是最优的选择。通过手动调整`hive.exec.reducers.bytes.per.reducer`参数，可以更好地控制Reducer的数量[^3]。 ```sql SET hive.exec.reducers.bytes.per.reducer=256000000; ``` #### 4. 处理数据倾斜问题 数据倾斜会导致某些Reducer任务执行时间过长，从而拖慢整个查询过程。可以通过增加Shuffle阶段的Bucket数或者使用Skew Join来缓解这一问题[^4]。 ```sql SET hive.optimize.skewjoin=true; ``` #### 5. 排序优化 全局排序（ORDER BY）需要将所有数据传递给单一Reducer，这可能导致性能瓶颈。相比之下，局部排序（SORT BY）可以在每个Mapper上独立完成，效率更高[^5]。 ```sql SELECT * FROM table_name SORT BY column_name LIMIT 10; ``` #### 6. 利用Tez引擎 相比于MapReduce，Tez框架能够提供更高效的DAG（有向无环图）执行模式，适用于复杂的多阶段查询。启用Tez通常能带来显著的性能提升[^3]。 ```sql SET hive.execution.engine=tez; ``` #### 7. 减少不必要的DISTINCT操作 频繁使用DISTINCT可能会引入额外的Shuffle操作，增加资源消耗。尽量合并多个DISTINCT为一个，或者改用其他方法实现相同功能[^2]。 ```sql SELECT COUNT(DISTINCT user_id) FROM user_actions; ``` #### 8. 缓存中间结果 对于多次使用的子查询结果，可以考虑将其缓存起来以避免重复计算。这尤其适用于迭代算法或机器学习训练过程中。 ```sql INSERT OVERWRITE TABLE temp_results SELECT * FROM source_data WHERE condition; ``` #### 9. 调整并行度 适当提高并发任务数可以帮助加速查询处理，但也要注意不要超出集群资源限制。 ```sql SET hive.exec.parallel=true; SET hive.exec.parallel.thread.number=16; ```
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值