hive参数优化-----亲测有效

lcm_linux lcm_linux 博客等级 墨衍会员 · AI 创作全网分发 墨衍智能分发 本文由作者通过墨衍一键同步至各平台 1分发平台 3.8k累计阅读 3.8k平均单平台 已同步平台 优快云 微信公众号 微博 知乎 掘金 百家号 博客园 抖音 小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年，写一次发全网 我也要 码龄7年
关注
原创 2022-08-02 18:23:41 3.8k 阅读 AI 写同款· GEO 优化 ›
Hive调优及参数优化（详细版） Hive调优及参数优化，涵盖：基础配置优化、压缩配置优化、分桶优化、Map Join、Bucket-Map Join、SMB Join、Hive并行操作、Hive索引、数据清洗转换优化、统计分析优化、Hive优化器等等...... 阅读详情

hive查询的时候，导致服务器负载过高，load值飙升，服务器CPU是8个，按理说load不超过8，都应算ok的，但是，hive在部署完后没有调参，导致在执行过程中，load值达到了7.8以上，服务器连接出现问题，因此想到了调参，现在整理如下：

本次查询所用测试语句为：

select util_lnadw21ifj1579078492403.e2467e8ab37945a3869c6d3093d2c399,util_lnadw21ifj1579078492403.1cb0cb4bda2546f0a230d1955ff0d7a4,util_lnadw21ifj1579078492403.c690536676184df9a347c76c5c575661 from (select util_191pm71579078361630.e2467e8ab37945a3869c6d3093d2c399,util_191pm71579078361630.1cb0cb4bda2546f0a230d1955ff0d7a4,util_191pm71579078361630.c690536676184df9a347c76c5c575661,util_191pm71579078361630.f081b7ce95ef4e84b4d7282bc0c5e3f6 from (select data_oy3efaueda1579078258016.e2467e8ab37945a3869c6d3093d2c399,data_oy3efaueda1579078258016.1cb0cb4bda2546f0a230d1955ff0d7a4,data_oy3efaueda1579078258016.c690536676184df9a347c76c5c575661,data_oy3efaueda1579078258016.f081b7ce95ef4e84b4d7282bc0c5e3f6 from (select data_oy3efaueda1579078258016.name as e2467e8ab37945a3869c6d3093d2c399,data_oy3efaueda1579078258016.eud as 1cb0cb4bda2546f0a230d1955ff0d7a4,data_oy3efaueda1579078258016.salary as c690536676184df9a347c76c5c575661,data_oy3efaueda1579078258016.destination as f081b7ce95ef4e84b4d7282bc0c5e3f6 from  test01.employee data_oy3efaueda1579078258016) data_oy3efaueda1579078258016 inner join(select data_diskmvki1579078266957.name as 3218b1512ecd457594d59dda6638392c,data_diskmvki1579078266957.eud as 443f2b8ea393492689720d38fbddfed1,data_diskmvki1579078266957.destination as 92eb60bfeb9041fb910c18d1fc9612ef from  test01.employee_temp data_diskmvki1579078266957) data_diskmvki1579078266957 on data_oy3efaueda1579078258016.e2467e8ab37945a3869c6d3093d2c399=data_diskmvki1579078266957.3218b1512ecd457594d59dda6638392c) util_191pm71579078361630 where util_191pm71579078361630.c690536676184df9a347c76c5c575661='45000') util_lnadw21ifj1579078492403 where util_lnadw21ifj1579078492403.1cb0cb4bda2546f0a230d1955ff0d7a4='1201';

整理hive参数如下：

================================================================================

Map Reduce数量相关 
数据分片大小 (分片的数量决定map的数量) 
计算公式: splitSize = Math.max(minSize, Math.min(maxSize, blockSize)) 
set mapreduce.input.fileinputformat.split.maxsize=750000000;

单个reduce处理的数据量 (影响reduce的数量) 
计算公式: Max(1, Min(hive.exec.reducers.max [1099], ReducerStage estimate/hive.exec.reducers.bytes.per.reducer)) x hive.tez.max.partition.factor 
set hive.exec.reducers.bytes.per.reducer=629145600;

tez将会根据vertice的输出大小动态预估调整reduce的个数 
set hive.tez.auto.reducer.parallelism = true;

hive执行引擎 mr/tez/spark 
set hive.execution.engine=mr;

调整Join顺序，让多次Join产生的中间数据尽可能小，选择不同的Join策略 
set hive.cbo.enable=true;

如果数据已经根据相同的key做好聚合，那么去除掉多余的map/reduce作业 
set hive.optimize.reducededuplication=true;

如果一个简单查询只包括一个group by和order by，此处可以设置为1或2 
set hive.optimize.reducededuplication.min.reducer=4;

Map Join优化, 不太大的表直接通过map过程做join 
set hive.auto.convert.join=true; 
set hive.auto.convert.join.noconditionaltask=true;

Map Join任务HashMap中key对应value数量 
set hive.smbjoin.cache.rows=10000;

可以被转化为HashMap放入内存的表的大小(官方推荐853M) 
set hive.auto.convert.join.noconditionaltask.size=894435328;

**map端聚合(跟group by有关), 如果开启, Hive将会在map端做第一级的聚合, 会用更多的内存 
http://dmtolp**eko.com/2014/10/13/map-side-aggregation-in-hive/ 
开启这个参数 sum(1)会有类型转换问题 
set hive.map.aggr=false;

所有map任务可以用作Hashtable的内存百分比, 如果OOM, 调小这个参数(官方默认0.5) 
set hive.map.aggr.hash.percentmemory=0.5;

将只有SELECT, FILTER, LIMIT转化为FETCH, 减少等待时间 
set hive.fetch.task.conversion=more; 
set hive.fetch.task.conversion.threshold=1073741824;

聚合查询是否转化为FETCH 
set hive.fetch.task.aggr=false;

如果数据按照join的key分桶，hive将简单优化inner join(官方推荐关闭) 
set hive.optimize.bucketmapjoin= false; 
set hive.optimize.bucketmapjoin.sortedmerge=false;

以下两个参数用于开启动态分区 
set hive.exec.dynamic.partition=true; 
set hive.exec.dynamic.partition.mode=nonstrict;

合并小文件 
set hive.merge.mapfiles=true; 
set hive.merge.mapredfiles=true; 
set hive.merge.tezfiles=true; 
set hive.merge.sparkfiles=false; 
set hive.merge.size.per.task=536870912; 
set hive.merge.smallfiles.avgsize=536870912; 
set hive.merge.orcfile.stripe.level=true;

如果开启将会在ORC文件中记录metadata 
set hive.orc.splits.include.file.footer=false;

ORC写缓冲大小 
set hive.exec.orc.default.stripe.size=67108864;

新创建的表/分区是否自动计算统计数据 
set hive.stats.autogather=true; 
set hive.compute.query.using.stats=true; 
set hive.stats.fetch.column.stats=true; 
set hive.stats.fetch.partition.stats=true;

手动统计已经存在的表 （本次没做）
ANALYZE TABLE COMPUTE STATISTICS; 
ANALYZE TABLE COMPUTE STATISTICS for COLUMNS; 
ANALYZE TABLE partition (coll=”x”) COMPUTE STATISTICS for COLUMNS;

在order by limit查询中分配给存储Top K的内存为10% 
set hive.limit.pushdown.memory.usage=0.1;

是否开启自动使用索引 
set hive.optimize.index.filter=true;

获取文件块路径的工作线程数 
set mapreduce.input.fileinputformat.list-status.num-threads=5;

如果自动分区数大于这个参数，将会报错 
set hive.exec.max.dynamic.partitions=100000; 
set hive.exec.max.dynamic.partitions.pernode=100000;

=========================================================================

对比了上述参数，本次优化了以下内容：

hive> set hive.limit.pushdown.memory.usage;
hive.limit.pushdown.memory.usage=-1.0

hive> set hive.stats.fetch.column.stats;
hive.stats.fetch.column.stats=false

hive> set hive.merge.smallfiles.avgsize;
hive.merge.smallfiles.avgsize=16000000

hive> set hive.merge.tezfiles;
hive.merge.tezfiles=false

hive> set hive.exec.dynamic.partition.mode;
hive.exec.dynamic.partition.mode=strict

hive> set hive.auto.convert.join.noconditionaltask.size;
hive.auto.convert.join.noconditionaltask.size=10000000

hive> set hive.optimize.index.filter;
hive.optimize.index.filter=false

hive> set mapreduce.input.fileinputformat.list-status.num-threads;
mapreduce.input.fileinputformat.list-status.num-threads=1

hive> set hive.exec.max.dynamic.partitions;
hive.exec.max.dynamic.partitions=1000

hive> set hive.exec.max.dynamic.partitions.pernode;
hive.exec.max.dynamic.partitions.pernode=100

hive> set hive.map.aggr;
hive.map.aggr=true

这些都是hive默认的值，按照上述均作出了调整，目前和上述参数设置一致，再次执行查询语句，load稳定在5.5左右，如果让开发单独执行这条语句，load在2以下，目前看来参数是有效的

mapred.child.java.opts 这个参数我这里没有具体优化，这个参数是配置每个map或reduce使用的内存数量。默认的是200M。对于这个参数，我个人认为，如果内存是8G，CPU有8个核，那么就设置成1G就可以了。实际上，在map和reduce的过程中对内存的消耗并不大，但是如果配置的太小，则有可能出现”无可分配内存”的错误。所以，对于这个配置我总结了一个简单的公式：map/reduce的并发数量(总和不大于CPU核数)×mapred.child.java.opts < 该节点机器的总内存。当然也可以等于，不过有点风险而已。参考：Mapreduce 参数---mapred.map.child.java.opts_风筝Lee的博客-优快云博客

本次优化参考链接：

Hive总结篇及Hive的优化_爆发的~小宇宙的博客-优快云博客_hive insert 优化

Hive调优（语法与参数层面优化）_李国冬的博客-优快云博客

MapReduce过程详解及其性能优化 - 大数据从业者FelixZh - 博客园

hive优化大全-一篇就够了_GOD_WAR的博客-优快云博客_hive的优化

这是精髓：

真正让你明白Hive参数调优系列1：控制map个数与性能调优参数_涤生大数据的博客-优快云博客_mapred.min.split.size.per.node

真正让你明白Hive参数调优系列2：如何控制reduce个数与参数调优_涤生大数据的博客-优快云博客

hive参数调优汇总_寒郊無留影的博客-优快云博客_hive负载均衡

另外：MR的内存优化参考这篇：

mapreduce内存分配_AI蜗牛之家的博客-优快云博客_mapreduce.map.memory.mb

https://www.jianshu.com/p/73d9ce671261

hive的存储，参考这篇：

hive四种存储格式介绍与分析比较_Deegue的博客-优快云博客_hive 存储格式

hive复制表 存储格式转换_Deegue的博客-优快云博客

小文件处理，参考这篇：

Hadoop小文件处理_听见下雨的声音hb的博客-优快云博客_hadoop 小文件处理

收录于
hive

当前文章被收录于：

hive
7 篇文章 0 人学习
订阅专栏 查看详情
标签
#hive #hive参数调优 #hive优化
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
Hive索引功能测试 作者：Syn良子 出处：http://www.cnblogs.com/cssdongl 转载请注明出处 从Hive的官方wiki来看，Hive0.7以后增加了一个对表建立index的功能,想试下性能是否有很大提升，参考了一些资料亲手实现了一遍，记录下过程和心得 一.测试数据准备 1.新建一个gen-data.sh脚本，内容如下 #! /bin/bash #generating 1.7G raw 阅读详情

相关推荐

17，关于spark的一些参数优化

Executor执行能力 spark.executor.memory=4g 用于缓存数据、代码执行的堆内存以及JVM运行时需要的内存。 spark.yarn.executor.memoryOverhead=1024 Spark运行还需要一些堆外内存，直接向系统申请 spark.executor.cores=2 单个executor上可以同时运行的task数，该参数决定了一个executor上可以并行执行几个task。 Driver执行能力 spark.driver.memory=4g driver端的内存和

北方的大数据之路 1358

Hive索引

1、        Hive索引概述 Hive的索引目的是提高Hive表指定列的查询速度。 没有索引时，类似'WHERE tab1.col1 = 10' 的查询，Hive会加载整张表或分区，然后处理所有的rows，但是如果在字段col1上面存在索引时，那么只会加载和处理文件的一部分。 与其他传统数据库一样，增加索引在提升查询速度时，会消耗额外资源去创建索引和需要更多的磁盘空间存储索引。 H

DataFlow范式 2863

hive参数优化目录

--压缩配置： -- map/reduce 输出压缩（一般采用序列化文件存储） set hive.exec.compress.output=true; set mapred.output.compression.codec=org.apache.hadoop.io.compress.GzipCodec; set mapred.output.compression.type=BLOCK; --任务中间压缩 set hive.exec.compress.intermediate=true; set hiv..

weixin_55866174的博客 2460

hive调优

hive的常规优化 1.数据量小的时候，将map-reudce作业放在本地工作站执行,这样只会启动一个reducer，数据量大的时候不可取 SET mapreduce.framework.name = local; SET mapred.local.dir = ‘/tmp/<username>/mapred/local’ # 应指向在本地计算机上有效的路径（否则，用户将获得分配本地磁盘...

shufangreal的博客 566

Hive--参数优化

一、Map阶段的优化（Mapphase） 1.Map数的计算公式为： num_Map_tasks=max[${Mapred.min.spilt.size},min(${dfs.block.size},${Mapred.max.split.size})] Mapred.min.spilt.size指的是数据的最小分割单元大小（默认为1B） Mapred.max.split.size指的是数据...

XiaodunLP的博客 576

Hive性能优化总结

Hive优化1.架构优化执行引擎优化器分区表分桶表文件格式数据压缩2.参数优化本地模式严格模式JVM重用并行执行推测执行合并小文件​Fetch模式3.SQL优化​列裁剪和分布裁剪​sort by 代替 order by​group by 代替 count(distinct)​group by配置调整​join基础优化​处理空值或无意义值​单独处理倾斜key​调整map数​调整reduce数4.优化小结 1.架构优化 影响Hive效率的因素：数据倾斜，数据冗余，Job或I/O过多，MapReduce分配不合

weixin_46267444的博客 3471

Hive参数优化深度解析

Hive 参数优化是一个“测量->调整->测量”基准测试：首先在未优化或默认配置下运行你的典型查询，记录运行时间。逐项优化：根据上述维度，一次只调整一个或一类参数，观察性能变化。监控分析：结合 Hadoop 集群监控（如 YARN ResourceManager UI）和 Hive 的执行计划（EXPLAIN命令）来定位瓶颈。持续迭代：找到最适合你当前集群硬件、数据规模和业务SQL的最佳参数组合。没有放之四海而皆准的最优配置，最好的配置一定是基于你对自身数据、业务和集群的深入理解而调优出来的。

ITHomeZSL的博客 1413

Hive SQL查询参数优化

【参数一】 hive.fetch.task.conversion决定sql查询是否以集群模式运行 查询sql ： select trans_params,trans_result from ods.tablename where trans_code=‘CF000078’ limit 10 耗时很长，期间没有走集群，查看日志查询会fetch HDFS每日数据分区 查看执行计划： explain select trans_params,trans_result from ods.tablename w.

wangkuangood3200的专栏 2073

Hive-优化（参数优化篇）

不过，有时Hive的输入数据量是非常小的。CBO优化对于执行计划中join顺序是有影响的，其之join顺序提前，如果某张表的数据量较小，将其提前，会有更大的概率使得中间结果的数据量变小，从而使整个计算任务的数据量减小，也就是使计算成本变小。合适的map数，会让资源分配的更平均，让我们的代码运行更快，通常情况下，作业会通过input的目录产生一个或者多个map任务。当input的文件都很大，任务逻辑复杂，map执行非常慢的时候，可以考虑增加Map数，来使得每个map处理的数据量减少，从而提高任务的执行效率。

小枫的博客 1817

OAK-D-Pro深度解析：从硬件融合到全天候SLAM实战

本文深度解析OAK-D-Pro硬件架构及其在SLAM领域的实战应用。作为SLAM的"六边形战士"，OAK-D-Pro融合主动双目摄像头、结构光投射器、6轴IMU等传感器，实现全天候稳定工作。通过实测数据展示其在弱纹理环境、动态光照等复杂场景下的卓越表现，并提供SLAM实战技巧与开发指南，帮助开发者快速部署高效SLAM解决方案。

weixin_27244795的博客 183

解决Surface更新后Bitlocker无限循环的问题

在Surface系统更新以后，出现要求输入Bitlocker恢复密钥的问题。已经输入正确密钥以后，依然无法正常进入Windows操作系统，一旦重启依然循环Bitlocker要求输入密钥的界面。 一旦到登录界面，点击“登录”之后又跳转回登录界面.，但就是无法进入桌面。 解决方案: 拒绝暴力重装！这个问题是Bitlock把盘给锁了，所以要解锁 重启之后，直接点击右下角“跳过这个驱动器” 选择“疑难解答”，然后进入命令提示符 先查看判断现在是不是被锁了: 输入: manage-bde -status c

premierapp的博客 1万+

HIVE配置参数优化

HIVE配置参数优化 一、hive配置参数原理 Hive的工作原理简单的说就是一个查询引擎，接收到一个SQL后，会把SQL转化为MapReduce、Spark或者其他执行引擎的Job。所以它的配置参数，除了作用于自身，有的也会转换为后续执行引擎的配置参数。有时可以携带执行引擎的参数，比如mapred.output.compress，这是Hadoop的参数。 二、hive配置参数作用范围 和其他所有框架一样，hive的配置信息也是划分层级的，就近原则 如果是使用java api进行操作，则代码中配置优先级最高

weixin_43451620的博客 610

Vivado实战：AXI转PCIe IP核配置全流程（含性能优化技巧）

本文详细介绍了在Vivado环境中配置AXI转PCIe IP核的全流程，包括工程准备、IP核参数设置、BAR空间配置、中断系统优化以及TLP传输效率提升等关键步骤。特别分享了经过验证的性能优化技巧，帮助开发者显著提升PCIe链路的吞吐量和稳定性，适用于视频采集、高速数据记录等应用场景。

weixin_30892037的博客 552

hive参数优化。

有很多刚学习的小伙伴，想学习参数优化，又不知道有哪些参数，如何优化。给大家，说明思路。1.set 你知道在这里找，说明你知道实际生效的作用2.hive-site.default.xml，你知道在这里找，说明你知道这个配置文件的作用(cdp-hive3.1的部分配置hive官网都没有。。在clouder的官网)3.官网。官网永远是学习最好的地方，不用多说。

cclovezbf的博客 799

华为od 面试八股文_JAVA语言_01_含答案

华为od 面试八股文_JAVA语言_01_含答案

MISAYAONE的博客 4316

uniapp - 详细实现移动端公众号 H5 网页授权登录流程及示例代码，申请测试公众号全流程及本地调试无需部署上线服务器就能直接调起微信登陆授权页面，手机移动端h5公众号页面利用微登录拿到用户数据！

uni-app，微信公众号，h5网页，uniapp网页端，手机端H5公众号页面，微信网页登陆，uniApp详细实现公众号的登录，微信授权第三方网站登录，流程及逻辑详细教程，OAuth2.0，公众号网页授权，微信网页授权通过code换取网页授权，redirect_url，参数错误，解决，报错，无法调起，如何申请测试公众号，微信公众平台测试号的申请与使用，获取用户openid手机号昵称头像，利用测试号实现本地调试微信登录授权，本地无法调试怎么办，测试公众号，在开发环境下怎么测试，用项目本地ip地址，微信公众号平

🏆 前端领域优质创作者 5064

Hive--参数优化、Map、Reduce Task个数优化

Hive--优化 Hive中的执行引擎目前支持：MapReduce、Spark、Tez 本文设定的执行引擎为MapReduce 1 Hive--参数优化 Hive官网--参数 1.1 hive.fetch.task.conversion Default Value: minimal in Hive 0.10.0 through 0.13.1, more in Hive 0.14.0 and la...

qq_41301707的博客 2062

Nerf 训练自有数据

colmap相机位姿转为LLFF格式数据

zfjBIT的专栏 2310

hive 字段个数限制_小白篇(八)：大数据Hive参数优化

简短介绍大家好，国庆马上就要结束了，该调整下了哦。有的小伙伴们会觉得放假比上班还累。那是过度消费假期哦。其实大家时间长得很，控制下小小的贪玩心，注意锻炼好身体比什么都重要。好吧，啰嗦了。今天给大家分享下Hive参数优化。01—如何进行Hive参数优化下面我们基于CDH安装的Hadoop集群进行分享。优化后，可以使我们运行的代码不会提示莫名其妙的错误(如：动态分区数量不够)基于CDH界面配...

weixin_39890708的博客 2614

存储硬盘格式怎么把512还原为520格式??

硬盘厂商工具（如SeaChestsg_format）可以调整扇区大小。备份数据，因为调整扇区会清除硬盘内容。根据硬盘型号和接口类型，选择合适的工具进行调整。如果你需要更详细的帮助，请提供你的硬盘型号和存储设备类型。希望如上措施及解决方案能够帮到有需要的你。PS：如若遇到采纳如下方案还是未解决的同学，希望不要抱怨&&急躁，毕竟影响因素众多，我写出来也是希望能够尽最大努力帮助到同类似问题的小伙伴，即把你未解决或者产生新Bug黏贴在评论区，我们大家一起来努力，一起帮你看看，可以不咯。

**My Coding Family** 1146

无人机：DJI Matrice 600 Pro_（8）.DJI_Matrice_600_Pro_负载能力

在一些高级应用场景中，可能需要自定义开发负载设备。

zhubeibei168的博客 1341

hive内置函数_【实战干货】Hive调优策略之参数优化

Hello，大家好，我是勾叔。今天带大家从参数优化方面来聊Hive调优策略。参数优化包括本地模式 、严格模式 、JVM重用 、并行执行、推测执行 、合并小文件 、Fetch模式等。1. 本地模式当Hive处理的数据量较小时，启动分布式去处理数据会有点浪费，因为可能启动的时间比数据处理的时间还要长。Hive支持将作业动态地转为本地模式，其具体配置如下：SET hive.exec.mode....

weixin_42515842的博客 188

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术，以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索，主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式，计算机控制系统的数学描述与基本分析方法，以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

hive 参数优化

SET hive.exec.dynamic.partition = true; SET hive.exec.dynamic.partition.mode = nonstrict; SET mapreduce.job.running.reduce.limit = 800; SET mapreduce.job.running.map.limit = 1000; SET mapreduce.job.reduce.slowstart.completedmaps = 1.0; SET mapred.output.co

zhuiqiuuuu的博客 1010

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员，提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列，各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性，请参见数据手册。有关 ARM Cortex™-M4F 内核的信息，请参见《Cortex™-M4F 技术参考手册》。

蓝牙模块HM-10手册

蓝牙模块HM-10手册，该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

hive 参数优化记录

HDFS非常容易存储大数据文件，如果Hive中存在过多的小文件会给namecode带来巨大的性能压力。同时小文件过多会影响JOB的执行，hadoop会将一个job转换成多个task，即使对于每个小文件也需要一个task去单独处理，task作为一个独立的jvm实例，其开启和停止的开销可能会大大超过实际的任务处理时间。 同时我们知道hive输出最终是mr的输出，即reducer（或mapper）的...

maenlai0086的博客 634

文档：亲测可用解决vnc灰屏，黑屏，鼠标大黑叉情况

主要解决vnc-viewer灰屏，黑屏，鼠标大黑叉等现象，详细见文档。

小白篇(八)：大数据Hive参数优化

我的原文地址： https://mp.weixin.qq.com/s?__biz=MzIxMzg5NzI4OQ==&mid=2247484048&idx=1&sn=8e444bfebc4a3af964cb825e263bc8b0&chksm=97ae9bb6a0d912a0dacabe908bdc8c60f7049d98d40da4513756809b5d2948e74a8aaa17b95c&token=1189979899&lang=zh_CN#rd .

belialxing的专栏 532

Hive参数优化

此教程中关于Hive的优化，皆是基于Hive2.x的版本，对于Hive1.x旧版本的优化机制不再复述（新版本已改善或变更）。另外新版本中默认为开启状态的优化配置项，在工作中无需修改，也不再复述。 一、HDFS副本数 配置项：dfs.replication （ HDFS） 介绍：文件副本数，通常设为3，不推荐修改。 二、CPU配置 查看CPU线程数 grep 'processor' /proc/cpuinfo | sort -u | wc -l 配置项：yarn.nodemanager.re

feizuiku0116的博客 1298
上一篇： Git远程同步本地代码
下一篇： cpu使用率低负载高，原因分析-----举例命令排查过程
点赞 1
评论 0
书签 书签 18
lcm_linux
lcm_linux
博客等级 码龄7年 7258粉丝 73原创
+ 关注 专栏目录 订阅专栏
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值