数据 140g, 按照字段time 降序排列选出最大的前50个

最新推荐文章于 2025-08-24 11:25:17 发布

原创最新推荐文章于 2025-08-24 11:25:17 发布 · 184 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#hive

hive 专栏收录该内容

8 篇文章

订阅专栏

本文介绍了一种通过调整SQL查询方式来提升数据检索效率的方法。对比了两种查询策略：一种是直接使用ORDER BY进行排序；另一种是通过DISTRIBUTE BY配合SORT BY进行优化。结果显示优化后的查询速度提升了近12倍，从1小时6分钟减少到5分钟。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

数据 140g, 按照字段time 降序排列选出最大的前50个。

使用一般方法 select * from table order by time desc limit 50. 执行了1小时6分钟完全算出。

任务数1个 map数 1783 reduce 1

而 select * from (select * from table distribute by time sort by time desc limit 50 ) t order by time desc limit 50;

需要5分钟算出。结果一致。

任务数2个分别是：

map 1783 reduce 245

map 245 reduce 1

select sale_ord_id,ivc_title,row_number(ivc_tm) as rn 
from 
(select sale_ord_id,ivc_tm,ivc_title 
from gdm_mXX_inv_actual_det_sum_da 
where dt='2014-12-09'
and valid_flag=1
distribute by sale_ord_id 
sort by ivc_tm desc) a
where row_number(ivc_tm)=1
limit 50