hive on mr参数配置

最新推荐文章于 2023-11-12 15:11:42 发布
原创 最新推荐文章于 2023-11-12 15:11:42 发布 · 2.5k 阅读 · 4 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了在Hive中使用MapReduce执行引擎时的关键参数配置，包括设置作业提交队列、内存分配、文件切分、小文件合并、数据倾斜处理、动态分区及并行执行等，旨在优化Hive查询性能和效率。

MR参数：

set mapreduce.job.queuename=queue_name;    #设置作业提交队列

set hive.execution.engine=mr;                              #设置计算引擎

set mapreduce.map.memory.mb=4096;               #设置map内存

set mapreduce.map.java.opts=-Xmx3276;           #设置map jvm内存(小于map内存)

set mapreduce.reduce.memory.mb=4096;           #设置reduce内存

set mapreduce.reduce.java.opts=-Xmx3072;       #设置reduce jvm内存(小于reduce内存)


#文件切分
set dfs.block.size = 256000000;                            #设置每个block的大小，控制map数


#合并小文件

#Map输入合并小文件
set hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat;   #执行Map前进行小文件合并
set mapred.max.split.size=256000000;      &n

最低0.47元/天 解锁文章
Hive MR & Spark & Yarn参数优化总结
weixin_41367158的博客
03-05 289
缺点：开启JVM重用将一直占用使用到的task插槽，以便进行重用，直到任务完成后才能释放。如果某个“不平衡的”job中有某几个reduce task执行的时间要比其他Reduce task消耗的时间多的多的话，那么保留的插槽就会一直空闲着却无法被其他的job使用，直到所有的task都结束了才会释放。这就需要推测执行，hadoop的推测执行机制会给这些有可能需要长时间才可以执行完的task准备一个备份，一旦task执行缓慢，那么备份task也会执行task的工作，看哪个先执行完就使用哪个的结果。
Hive on Spark 配置
hu_wei123的博客
03-30 2624
Hive引擎包括：MR（默认）、tez、spark。Hive on Spark：Hive既作为存储元数据又负责 SQL 的解析优化，语法是 HQL 语法，执行引擎变成了 Spark，Spark 负责采用 RDD 执行。Spark on Hive：Hive 只作为存储元数据，Spark负责SQL解析优化，语法是Spark SQL语法，Spark负责采用 RDD 执行。
Hive on Mr Job重复执行问题排查
热门推荐
u013332124的专栏
06-05 3万+
文章目录一、问题描述二、问题排查进度三、Hive执行任务的具体逻辑3.1、Hive源码解析3.2、生成重复job问题分析四、问题总结和代码修复 一、问题描述 业务反馈某张表的落地数据总大小比平时多了一倍。 平时正常落地6-7G，而这次落地的数据量有14G。后该任务重跑后数据恢复正常： 表落地数据使用的相关sql如下(为了不暴露公司相关业务信息，只展示sql的主体结构)： set mapreduce.job.queuename=xxxxx; insert overwrite table xxxxxxxx
hive设置队列指定mr等参数
weixin_43846869的博客
10-25 3054
Hive提供三种可以改变环境变量的方法，分别是： （1）、修改${HIVE_HOME}/conf/hive-site.xml配置文件； （2）、命令行参数； （3）、在已经进入cli时进行参数声明。下面分别来介绍这几种设定。 方法一： 　　在Hive中，所有的默认配置都在HIVEHOME/conf/hive−default.xml文件中，如果需要对默认的配置进行修改，可以创建一个hive−site...
Hive on MR/Spark
数据源的港湾
12-14 3403
在当前稍微新一点的Hadoop版本中，都支持Hive跑在Spark上，即使用Spark代替默认的MapReduce作为Hive的执行引擎，假如在已经安装配置好Spark之后，只需要简单地通过“set hive.execution.engine=spark”来切换让Hive跑在Spark之上。首先试验使用默认的MapReduce作为Hive的计算引擎，hive> select count(*) fro
hive on spark 以及 hive on mr
weixin_42307036的博客
11-18 3027
--默认方式是mapreduce set hive.execution.engine=spark; select count(*) from sxs_comment_his; set hive.execution.engine=MR; select count(*) from sxs_comment_his; 总结： hive默认方式是mapreduce，比on spark 慢 从最后一张图可以看到一个箭头所覆盖的ip，可以通过这个ip访问YARN的UI界面，可能需要个跳板机，比如我司还需要登陆个wi
Hive on mr合并小文件
流风雨情的博客
11-14 493
set hive.merge.mapfiles = true; set hive.merge.mapredfiles= true; set hive.merge.size.per.task = 1024000000; set hive.merge.smallfiles.avgsize=1024000000; 此设置并不适用于hive on tez
hive on mr 参数配置
最新发布
09-27
在配置Hive on MR时，有几个关键参数需要调整： 1. `hive.mapred.mode`: 设置为`mr`表示使用MapReduce作为执行引擎。默认值就是这个。 2. `mapreduce.job.reduces`: 它指定并行运行的Reducer数量。合理的设置取决...
Hive on Spark配置
qq_28286027的博客
04-04 3764
1. Hive引擎简介 Hive引擎包括：默认MR、tez、spark Hive on Spark：Hive既作为存储元数据又负责SQL的解析优化，语法是HQL语法，执行引擎变成了Spark，Spark负责采用RDD执行。 Spark on Hive : Hive只作为存储元数据，Spark负责SQL解析优化，语法是Spark SQL语法，Spark负责采用RDD执行。 2. Hive on Spark配置 1）兼容性说明 注意：官网下载的Hive3.1.2和Spark3.0.0默认是不兼容的。因为Hive
Hive-MR引擎
刘斌的博客
04-25 3081
文章目录概述组成部分语法DDLDML函数调优压缩和存储 概述 组成部分 语法 DDL DML 函数 调优 压缩和存储
Hive插入数据警告：Hive-on-MR is deprecated in Hive 2 and may not be available in the future versions
Java/Python大数据随笔
11-12 5283
启动Hive的JDBC服务并使用IDE连接到HIve，创建表成功，但是INSERT插入数据时经过长时间加载后无法得到预期结果，插入不成功。然而，很多小伙伴都是本地测试时使用的INSERT，更换Spark、Tez可不是那么容易；实际工作中根据生产环境需要可直接进行引擎修改，甚至都不用你修改，底层自动优化自动选择执行引擎。Hive-on-MR在Hive 2中已弃用，并且在未来版本中可能不可用。考虑使用不同的执行引擎（例如Spark、Tez）或使用Hive 1.X版本。我们发现，这就很明显了，说明Hive在。
Hive-on-MR与Hive-on-Tez的性能比较
08-12 2169
实验数据：10G大小的TPCH数据（8个表）； 实验环境：1Master节点+8Slave节点，每个均为4core，4G内存，30G磁盘，磁盘读写速度50M/s； ①单个查询之q1_pricing_summary_report.hive SELECT L_R...
Hive(13):Hive与MR相关参数
小蚯蚓的博客
11-09 1286
一、实现功能 如果核心数比较少，内存比较多，则可以每个reduce多设置内存，使一个核心处理能力增大； 如果核心数充足，则内存设置可以比较少，进而使多个核心处理任务，增加处理速度。 二、配置 1.In order to change the average load for a reducer (in bytes): 每个reduce能够处理的数据量，字节，默认是1个G set hive...
Hive调优--计算资源配置
yyGeek的博客
03-07 696
hive资源配置，hadoop调优
Hive on Spark
weixin_42073629的博客
10-29 1683
简介 本文主要记录如何安装配置Hive on Spark，在执行以下步骤之前，请先确保已经安装Hadoop集群，Hive，MySQL，JDK，Scala，具体安装步骤不再赘述。 背景 Hive默认使用MapReduce作为执行引擎，即Hive on mr。实际上，Hive还可以使用Tez和Spark作为其执行引擎，分别为Hive on Tez和Hive on Spark。由于MapReduce中间计算均需要写入磁盘，而Spark是放在内存中，所以总体来讲Spark比MapReduce快很多。因此，Hi
hive 调优（三）tez优化
weixin_30237281的博客
02-02 3435
我们采用亚马逊emr构建的集群，用hive查询的时候报错，FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.tez.TezTask，查看了下面的参数，挺有帮助的 我是设置了这个参数sethive.tez.auto.reducer.parallelism=true; Tez内存优化 1、AM、C...
执行Hive insert语句时MR阶段报错
Championers的博客
01-03 713
问题描述： 执行Hive insert语句时MR阶段报错 Error during job，obtaing debugging information… 原因分析： 查看Hive.log 并没有发现什么有价值的信息 网上说是因为namenode内存空间不够导致的，需要设置成本地模式 set hive.exec.mode.local.auto=true; 再次运行后提示没有设置本地目录，只能换方法 考虑到是MR阶段的问题，果断查看YARN的log日志 发现原因竟然是找不到加载主类。。。 这是配置文件
HadoopMR 优化相关参数
liuwei0376的专栏
03-23 502
MapReduce 基本优化相关参数 优化（1）资源相关参数： 以下参数是在自己的 MapReduce 应用程序中配置就可以生效 配置 说明 mapreduce.map.memory.mb: 一个 Map Task 可使用的内存上限（单位:MB），默认为 1024。如果 Map Task 实际使用的资源量超过该值，则会被强制杀死。 mapreduce.reduce.memory...
JVM参数之堆栈空间配置
qq_40902067的博客
05-08 1169
JVM 中最重要的一部分就是堆空间了，基本上大多数的线上 JVM 问题都是因为堆空间造成的 OutOfMemoryError。因此掌握 JVM 关于堆空间的参数配置对于排查线上问题非常重要。 tips：本文所有配置，如无特别说明，均基于JDK1.8。 堆配置 我们使用 -Xms 设置堆的初始空间大小，使用 -Xmx 设置堆的最大空间大小。 java -Xms20m -Xmx30m GCDemo 在上面的命令中，我们设置 JVM 的初始堆大小为 20M，最大堆空间为 30M。 年轻代 在 JDK1.8 中，
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值