hive两大表关联优化试验

最新推荐文章于 2025-05-29 11:53:12 发布
最新推荐文章于 2025-05-29 11:53:12 发布
阅读量1.2w 收藏 17
点赞数 3
CC 4.0 BY-SA版权
分类专栏： hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/yijichangkong/article/details/51441944
本文探讨了在Hive中对大规模呼叫结果(call_result)与销售历史(sale_history)表进行关联优化的各种策略，包括开启中间结果压缩、JVM重用、调整Map数量及开启不同级别的压缩。尽管一些优化措施减少了HDFS写入量，但CPU消耗并未显著降低。最终，通过业务理解，将程序优化为处理当天增量数据，解决了性能问题，强调了业务与技术结合的重要性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

呼叫结果(call_result)与销售历史(sale_history)的join优化：
CALL_RESULT: 32亿条/444G SALE_HISTORY:17亿条/439G

  • 原逻辑
    Map: 3255 Reduce: 950 Cumulative CPU: 238867.84 sec HDFS Read: 587550313339 HDFS Write: 725372805057 SUCCESS 28.1MIN

  • 开启中间结果压缩
    set hive.exec.compress.intermediate=true;
    set mapred.map.output.compression.codec=org.apache.hadoop.io.compress.SnappyCodec

    Map: 3255 Reduce: 950 Cumulative CPU: 268479.06 sec HDFS Read: 587548211067 HDFS Write: 725372805057 SUCCESS 31.6MIN
    从结果看cpu的耗时增加，这是压缩解压缩过程的消耗；HDFS读取量略有减少，可能是因为源表是RCFile存储，本身已经压缩导致，因此整体时间上没有明显减少。

  • 开启中间和最终压缩
    set hive.exec.compress.intermediate=true;
    set mapred.map.output.compression.codec=org.apache.hadoop.io.compress.SnappyCodec
    set hive.exec.compress.output=true;
    set mapred.output.compression.codec=org.apache.hadoop.io.compress.GZipCodec

    Map: 3255 Reduce: 950 Cumulat

最低0.47元/天 解锁文章

200万优质内容无限畅学
Hive的JOIN操作如何优化？
chunzhi128的博客
05-30 1214
Hive JOIN操作优化是提升大数据查询性能的关键。主要优化策略包括：MapJoin（小表广播优化），适用于小表与大表JOIN；Bucket MapJoin（分桶表优化），要求两表分桶键与JOIN键一致；Sort-Merge-Bucket Join（SMB Join），基于排序分桶表实现高效JOIN；倾斜JOIN优化，通过拆分倾斜键或两阶段聚合解决数据不均问题；以及Multi-Join和Join顺序优化，合理规划JOIN流程。同时建议合理配置参数，如自动MapJoin、分桶优化等，并通过监控验证执行计划。
【硬刚Hive】Hive高级（2）：优化(2) 表的优化
微信搜：import_bigdata，大数据领域硬核原创作者
09-10 607
欢迎关注博客主页：微信搜：import_bigdata，大数据领域硬核原创作者_王知无(import_bigdata)_优快云博客 欢迎点赞、收藏、留言 ，欢迎留言交流！本文由【王知无】原创，首发于 优快云博客！本文首发优快云论坛，未经过官方和本人允许，严禁转载！ 本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的Hive部分补充。 1 小表大表 Join（MapJOIN） 将 key 相对分散，并且数据量小的表放在 join 的左边，可以使用 map jo.
Hive大表join大表如何调优
认真学代码的shell
05-11 4012
在Hive中，优化器会根据统计信息决定是将大表放在前面（Join的左边）还是小表放在前面。通常，优化器会选择数据量较小的表作为驱动表（小表作为左边），因为这样可以减少内存消耗并提高效率。但是，如果你有特定的需求，比如你知道大部分数据能快速过滤掉，希望减少任务的执行时间，那么你可以强制指定某个表作为小表。在Hive中，可以使用/*+ MAPJOIN(table_name) */ 注释来强制将一个大表作为小表处理。
Hive之表优化
勇心在馨
02-09 2106
一、小表、大表 Join 将 key 相对分散，并且数据量小的表放在 join 的左边，这样可以有效减少内存溢出错误发生的几率；再进一步，可以使用 map join 让小的维度表（1000 条以下的记录条数）先进内存。在 map 端完成 reduce。 新版的 hive 已经对小表 JOIN 大表和大表 JOIN 小表进行了优化。小表放在左边和右边已经没有明显区别。 例： 1、创建大...
oracle/hive下两个大表的关联如何进行优化
weixin_49196517的博客
11-16 4475
ORACLE/HIVE下两个大表优化
大数据领域Hive的表结构设计与优化
最新发布
AGI×大数据，开启智能时代的认知跃迁；解码AGI，赋能数据驱动的智能革命。
05-29 799
在大数据时代，数据量呈现爆炸式增长，如何高效地存储和处理这些海量数据成为了关键问题。Hive作为一种基于Hadoop的数据仓库基础设施，提供了类似于SQL的查询语言HQL，使得用户可以方便地对存储在Hadoop分布式文件系统（HDFS）中的数据进行查询和分析。本文章的目的在于深入探讨Hive的表结构设计与优化，帮助读者了解如何设计合理的Hive表结构以提高数据存储和查询的效率，范围涵盖了Hive表结构的基本概念、设计原则、优化策略以及实际应用案例等方面。
Hive优化
Colin Lau Oracle
07-08 658
1. 概述 1.1 hive的特征： 可以通过SQL轻松访问数据的工具，从而实现数据仓库任务，如提取/转换/加载（ETL），报告和数据分析； 它可以使已经存储的数据结构化； 可以直接访问存储在Apache HDFS或其他数据存储系统（如Apache HBase）中的文件； Hive除了支持MapReduce计算引擎，还支持Spark和Tez这两种分布式计算引擎； 它提供类似sql的查询语句HiveQL对数据进行分析处理； 数据的存储格式有多种，比如数据源是二进制格式，普通文本格式等等； 1.2
Hive性能优化策略与数据倾斜解决
"Hive性能优化，数据倾斜，jobs效率，UDAF优化，count(distinct)优化，模型设计，数据分布理解，数据倾斜解决方案，小文件合并，整体优化，HiveQL与M/R关联" Hive作为大数据处理的重要工具，其性能优化是提升大数据...
Hive实战 —— 利用Hive进行数据分析并将分析好的数据导出到mysql数据库中
春和的博客
05-11 8367
Hive实战 利用Hive统计分析出热门视频TOP10,并将分析好的数据导出到mysql数据库中，步步相扣，记录一次试验完整过程，体验操作
[Hive]Hive数据倾斜（大表join大表）
热门推荐
个人技术博客
05-12 2万+
Hive数据倾斜（大表join大表）的现象、思路以及解决方案
Hive（二）hive表的关联
w_t_y_y的博客
06-10 1888
。。。
使用 MapReduce 实现 Hive 中两张表的关联
My_wife_QBL的博客
07-29 1178
通过使用 MapReduce，我们能够在 Hive 中实现复杂的表关联操作。虽然 Hive 提供了 SQL 查询的便利性，但在处理复杂逻辑时，MapReduce 提供了更大的灵活性和控制能力。本文详细介绍了如何实现两张表的关联，包括 MapReduce 的基本原理、Mapper 和 Reducer 的实现、驱动程序的编写等步骤。掌握这些知识将有助于用户在大数据处理过程中更加高效地使用 Hive 和 MapReduce。
【大数据面试常问问题】----Hive中两张表关联，使用MapReduce怎么实现
c美食家的博客
01-21 1791
情况一 如果其中一张表为小表，可以直接在map端join的方式进行聚合 情况二 如果两张表都是大表，可以采用联合key的方式进行聚合。联合key的第一个部分join on的部分为公共字段，第二部分添加一个flag，就是一个标记，用来区分两张表，0代表着表A，1代表着表B。用来让Reduce端区分两张表的信息。在Mapper进行表的处理，join on公共字段相同的数据划分到同一个分区中，进而传输...
Hive的表连接优化（join优化）
陆山右的技术博客
11-15 5682
left join,right join,inner join,full join之间的区别 参考 备注：转载的 转载地址：https://www.cnblogs.com/lijingran/p/9001302.html 下面是转载内容 https://www.cnblogs.com/assasion/p/7768931.html https://blog.youkuaiyun.com/rongb...
hive join的优化
祁东握力的博客
11-07 523
CommonJoin 最为普通的join策略，不受数据量的大小影响，也可以叫做reduce side join ,最没效率的一种join方式. 它由一个mapreduce job 完成. 首先将大表和小表分别进行map 操作, 在map shuffle 的阶段每一个mapoutput key 变成了table_name_tag_prefix + join_column_value , 但...
Hive大表JOIN优化
qq_42189083的博客
08-29 6271
转载自：http://www.aboutyun.com/forum.php?mod=viewthread&tid=13077 业务背景 用户轨迹工程的性能瓶颈一直是etract_track_info，其中耗时大户主要在于trackinfo与pm_info进行左关联的环节，trackinfo与pm_info两张表均为GB级别，左关联代码块如下： [SQL] 纯文本查看 复制代码 fr...
黑猴子的家：Hive 表的优化之 大表 Join 大表
黑猴子的博客
09-29 1490
1、空KEY过滤 有时join超时是因为某些key对应的数据太多，而相同key对应的数据都会发送到相同的reducer上，从而导致内存不够。此时我们应该仔细分析这些异常的key，很多情况下，这些key对应的数据是异常数据，我们需要在SQL语句中进行过滤。例如key对应的字段为空，操作如下 案例实操 （1）配置历史服务器 配置mapred-site.xml <property&gt...
Hive学习之路-关联表（Join）
qq_25100219的博客
03-23 2026
本篇文章主要研究下Hive里面的Join操作，Hive关联可以细分为四种，如下所示： 内关联：join on 左关联：left join on 右关联：right join on 全关联：full join on 1.内关联（join on） 语法：select * from table1 join table2 on table1.id = table2...
hive 两大表关联
09-23
在Hive中，可以使用三种方式对两个表进行关联：左连接、内连接和右连接。 左连接（left join）是指以左表（jion1）为基准，将左表中的所有记录和右表（jion2）中满足条件的记录进行关联。如果右表中没有匹配的记录...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值