hive学习笔记-性能优化

最新推荐文章于 2022-04-19 05:08:52 发布
最新推荐文章于 2022-04-19 05:08:52 发布
阅读量849 收藏 1
点赞数 1
分类专栏： hive学习 文章标签： hive 性能优化 多线程
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/jsphyun/article/details/41315263
版权
本文介绍了如何通过设置Hive的多线程来提升性能，特别是针对大表与小表关联的问题进行优化。通过使用MapJoin提示，可以将小表加载到内存中，避免null结果。同时，调整大表和小表的关联顺序也能影响查询效率。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1.设置hive多线程 

set hive.exec.parallel=true;
set hive.exec.parallel.thread.number=8; 
 
线程数默认为8，设置线程数优点是多进程同时跑，速度会快很多，缺点是会增加map(map 并不是越多越好），设置进程数大小要适当；

2.设置map数，reduce数
  map的文件块目前一个文件块是
最低0.47元/天 解锁文章
Hive学习笔记 --- 文件存储格式梳理汇总
杨鑫newlife的专栏
03-17 381
Hive支持的文件存储格式如下： Text File SequenceFile RCFile Avro Files ORC Files Parquet Custom INPUTFORMAT and OUTPUTFORMAT 其中hive.default.fileformat 配置参数确定在CREATE TABLE 或...
Hive学习笔记 --- Hive架构原理 与 执行流程 与 工作原理
杨鑫newlife的专栏
03-13 599
一、简述： HIve数据仓库可以使用类SQL（HQL）查询读取、写入和管理存储在分布式中的大型数据集。 Hive建立在Hadoop之上，提供以下功能： 通过SQL轻松访问数据的工具，从而实现数据仓库的任务，例如提取/转换/加载（ETL），报告和数据分析； 一种将强结构用于各种数据格式的机制； 可以直接访问存储在HDFS或者和其他存储系统（HBase）中的文件； ...
hive 参数设置大全
独木不成林，单弦不成音。
12-29 9913
合理设置参数，让集群飞起来~
Hive调优：让任务并行执行（hive.exec.parallel）
热门推荐
汐 朔
08-05 1万+
目录业务背景优化策略方案一方案二 业务背景 extract_trfc_page_kpi的hive sql如下： set mapred.job.queue.name=pms; set hive.exec.reducers.max=8; set mapred.reduce.tasks=8; set mapred.job.name=extract_trfc_page_kpi; insert overw...
hive优化，并行查询
weixin_30407613的博客
08-27 1045
1、hive中控制并行执行的参数有如下几个： $ bin/hive -e set | grep parall hive.exec.parallel=false hive.exec.parallel.thread.number=8 hive.stats.map.parallelism=1 其中：hive.exec.parallel=false、hive.exec.parallel.thre...
Hive性能优化配置
weixin_43628593的博客
03-26 435
hive.fetch.task.conversion=more 默认值是minimal,就是说默认查询都要经过mr。但是一些简单查询比如没有函数、没有order by的，就没必要mr，所以设置为more可以直接查询文件。 hive.exec.mode.local.auto=true 这个参数叫做本地模式，就是对于小数据集没必要提交到集群。 满足以下3个条件的查询job，是没必要提交到集群运行的，可...
apache-hive-1.2.1-bin.tar.gz.zip
05-11
"Mr.zhou_Zxy.txt" 文件可能是个人笔记或教程，可能包含了用户 Zhou Zxy 在学习和使用 Hive 过程中的经验和技巧，包括如何配置 Hive，编写 HQL 示例，或者解决遇到的问题。 在大数据处理场景中，Hive 主要应用于...
hive学习笔记精华版
10-08
【Hive学习笔记精华版】 Hive是大数据处理领域中的一款重要工具，它基于Hadoop构建，主要用于数据仓库和数据分析。作为一个离线处理系统，Hive可以将结构化的数据文件映射成数据库表，允许用户使用类似SQL的查询...
hive优化需知道的底层知识部分
m0_37604626的博客
11-25 302
1 与会者目标=>今日主题：承认自己的愚蠢，并一直抱有学习的意愿 hive是啥=>MapReduce到hive的执行原理 案例 盲人摸象=>参数调优，执行计划 开发习惯 资料参考 2 理解hive=>MapReduce到hive的执行原理 理解hive hive 建立在Hadoop体系架构上的一层SQL抽象，HiveSQL实际上先被SQL解析器解析后被Hive框架解析成一个MapReduce可执行计划，并按照该计划生成MapReduce任务后交给Hadoop集群处理 Ma.
Hive set 常用参数设置
清平乐的技术专栏
01-06 1929
一、设置执行引擎 -- 配置mapreduce计算引擎 set hive.execution.engine=mr; -- 配置tez 计算引擎 set hive.execution.engine=tez; -- 配置spark计算引擎 set hive.execution.engine=spark; 二、分区相关 -- 开启动态分区 set hive.exec.dynamic.partition=true; -- 设置非严格模式，动态分区插入数据需要先设置非严格模式 set hive.exec.dyna
hive优化——并行执行
qq_38282753的博客
10-22 1612
默认配置为： <property>     <name>hive.exec.parallel</name>     <value>false</value>     <description>Whether to execute jobs in parallel</description> </p
hive深度理解与调优
想~ai抽
03-14 2738
参考一些文件弄过来。。。。。读了一遍，没有完全记住。呵呵，留着以后当手册用，没事儿来翻。 8.1 针对每次简单查询都会使用mapreduce，设置hiveconf hive.fetch.task.conversion=more。通过Fetch 获取数据，不再经过mapreduce 8.2  第一部分：Hadoop 计算框架的特性 什么是数据倾斜 •由于数据的不均衡原因，导致数
Hive并行跑批简易一例
BabyFish13
06-22 1331
1、目标表建表脚本drop table if exists xxxxx_gift_record_byroom_bymonth; CREATE TABLE `xxxxx_gift_record_byroom_bymonth`( `room_id` bigint, `room_creator_uid` bigint, `gift_point` bigint) PARTITIONED B...
Hive性能优化简介 （顺便介绍了性能工具--ANALYZE）
u011495642的博客
11-21 1142
ANALYZE关键字可以收集数值统计信息。 加速查询，直接从统计信息中拿，而不会再启动mapreduce去查询。 用desc命令去查统计信息。     Hive性能优化包含以下点： partition table 这是最好的优化，比如用年月日，部门 联合查询，可以先按xx做分区，再按别的做分区   bucket table  经常被join连接查询的这种column上建立b...
hive-参数调优
weixin_44280356的博客
04-19 2599
set hive.vectorized.execution.enabled=false; set mapreduce.map.speculative=false; set mapreduce.reduce.speculative=false; use ads_chpp_dev; set mapreduce.job.queuename=badm; ...
hive性能调优
programmer_trip的博客
07-26 605
小文件过多的问题： 小文件过多会会导致占用过多的内存资源，因为namenode在内存中维护文件系统树和最新的元数据信息，每个小文件都会占用150字节的内存，会影响查询效率 导致小文件过多的原因： 使用动态分区，会产生很多零碎的小文件，插入分区表时最好指定分区字段的值； reduce过多会产生很多小文件，设置合理的reduce数 减少小文件数量的措施： 1 源头解决：在日增数据中，可以通过设置写入数据的参数，设置map端，reduce端输出时进行文件合并，设置一个输出文件大小均值
hive连接数异常升高，线程卡死异常分析
wflh323的专栏
05-28 4515
最近使用hue 查询hive 出现超时，sql提交无反应。cdh监控发现HS2连接数直线上升，cpu使用率升高一直占用cpu，如下图： 使用netstat命令查看端口连接状态，发现端口出现大量FIN_WAIT2的状态，重启hive后恢复正常。开始怀疑是网络丢包问题，检查服务器上其它进程正常，隔段时间问题重新，怀疑是hive服务本身卡死，端口状态如图： jstack打...
hiveserver2修改线程数
weixin_33709590的博客
12-23 510
hive.server2.thrift.min.worker.threads 最小工作线程数默认5hive.server2.thrift.max.worker.threads 最大工作线程数默认500 转载于:https://blog.51cto.com/yntmdr/1885508
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值