Hive 关闭Local_Mr不生效

最新推荐文章于 2024-04-26 17:27:46 发布
原创 最新推荐文章于 2024-04-26 17:27:46 发布 · 761 阅读 · 1 ·
CC 4.0 BY-SA版权
本文为博主原创文章，未经博主允许不得转载。

本文记录了在搭建Hadoop环境中遇到的问题：使用Hive时未能成功提交远程MapReduce任务到YARN。通过调整配置参数最终解决了该问题。

今天帮同事搭建Hadoop环境,在讲解Hive的时候演示Hive提交复杂查询时会提交到yarn上执行远程mr,但是写了好几个sql都未生效,并且也尝试用下面的命令

SET hive.exec.mode.local.auto=false
SET hive.exec.mode.local.auto.inputbytes.max=1
SET hive.exec.mode.local.auto.input.files.max=0

关闭hive local_mr,也未生效最后查询发现应该设置set mapreduce.framework.name=yarn

Hive MR & Spark & Yarn参数优化总结
weixin_41367158的博客
03-05 318
缺点：开启JVM重用将一直占用使用到的task插槽，以便进行重用，直到任务完成后才能释放。如果某个“不平衡的”job中有某几个reduce task执行的时间要比其他Reduce task消耗的时间多的多的话，那么保留的插槽就会一直空闲着却无法被其他的job使用，直到所有的task都结束了才会释放。这就需要推测执行，hadoop的推测执行机制会给这些有可能需要长时间才可以执行完的task准备一个备份，一旦task执行缓慢，那么备份task也会执行task的工作，看哪个先执行完就使用哪个的结果。
hive_spark_优化
a505646331的博客
07-06 345
优化
hive避免MR的情况
weixin_43705952的博客
05-08 1522
什么情况下Hive可以避免进行MapReduce hive 为了执行效率考虑，简单的查询，就是只是select，不带count,sum,group by这样的，都不走map/reduce，直接读取hdfs目录中的文件进行filter过滤。也就是所谓的本地模式。 sql select * from employee; sql select * from order_partition where month=‘2020-05’; 此外，如果设置属性 set hive.exec.mode.local.auto=
让Hive简单的查询不启用Mapreduce而启用Fetch task本地运行
TURING.DT
09-23 1212
查询某个表的某一列，Hive默认是会启用MapReduce来完成这个任务，如下： hive> SELECT uid, number FROM test limit 9; Total MapReduce CPU Time Spent: 2 seconds 320 msec OK 1       12 2       15 3       21 4       22 5       2
执行mr或hive聚集查询卡死
养猪少年日记的博客
05-30 1415
在CDH上安装了hive进行一般查询没有问题,聚合查询就卡死,如图 查看日志没有报错. 查看mr状态发现一直在ACCEPTED状态. 说明mr有问题,执行mr job ,果然卡死 查询得知是因为yarn的物理内存过少,建议配置为运行内存大小或二倍运行内存大小. yarn-site.xml <property> <name>yarn.nodemanager.res...
Hive调优
qq_43536051的博客
09-22 148
Fetch抓取 hive中对某些情况的查询可以不用MapReduce计算。例如select * from emp，可以简单的读取emp文件，输出结果。 在hive-default.xml.template文件中的hive.fetch.task.conversion默认为more，老版本默认为minimal。该值设为more后，在全局查找、字段查找和limit查找等都不使用MapReduce。 <property> <name>hive.fetch.task.conve
Hive MR和Tez 启用Local模式
是个好男人的博客
04-19 2824
1.说明 启动local模式,就是让hive的任务不运行在yarn上面。直接当前的服务器执行 2.优点 当我们对Hive的源码进行Debug，且代码需要Debug到每个task内部时，如果任务是执行在yarn模式的话，那么是无法打断点的，需要进入local模式才能打断点 3.MR 当引擎为MR时，需要修改以下参数，可以修改配置文件hive-site.xml，也可以通过set来生效 3.1 hive-site.xml <property> <name>h...
hive 补0_Hive补充
weixin_30927801的博客
03-06 1829
Hive补充1.认知1.Mapreduce的客户端,避免写繁琐的MapReduce程序;2.metastore:原本的数据集和字段名称以及数据信息之间双射关系;3.Server-Hadoop;在操作Hive同时,需要将Hadoop的HDFS,YARN开启,MAPRED配置好.2.本地避免使用MapReduce设置:hive.fetch.task.conversionmoreSome select ...
Hive-MR引擎
刘斌的博客
04-25 3093
文章目录概述组成部分语法DDLDML函数调优压缩和存储 概述 组成部分 语法 DDL DML 函数 调优 压缩和存储
hive配置Kerbros安全认证_hive kereveros(2)
2401_84264610的博客
04-26 1458
Client：需要访问服务的用户（principal），KDC和Service会对用户的身份进行认证。Service：集成了Kerberos的服务，如HDFS/YARN/HBase等。principal：当每添加一个用户或服务的时候都需要向kdc添加一条principal，principl的形式为 主名称／实例名@领域名。TGT : 票证授予票证。SGT : 服务授予票证。或者使用下面这个：客户机在hadoop的从节点上安装即可。在安装的kerbros服务端上修改即可。​。
Hive常用的优化方式
romaybe的博客
04-30 305
Hive常用的优化方式 fetch抓取 hive-default.xml.template hive.fetch.task.conversion 默认为none，查询语句都会使用MR，将none改为more，全局查找、字段查找、limit查询语句将不走MR，效率显著提升。 local本地模式 通过本地模式在单台机器上处理所有的任务，对于对于小数据集，执行时间明显缩短，多用于测试，不放在Yarn去运...
Hive 调优 本地模式
大数据流浪法师的学习笔记与分享
11-28 663
本地模式 本地模式就是不上传集群，在本节点上运行。 大多数的Hadoop Job是需要Hadoop提供的完整的可扩展性来处理大数据集的。 不过，有时Hive的输入数据量是非常小的。 在这种情况下，为查询触发执行任务时消耗可能会比实际job的执行时间要多的多。 对于大多数这种情况，Hive可以通过本地模式在单台机器上处理所有的任务。 对于小数据集，使用本地模式执行时间可以明显被缩短。 用户可以通过设...
hive中的local mr
东杰书屋
10-22 3724
在hive中运行的sql有很多是比较小的sql,数据量小,计算量小.这些比较小的sql如果也采用分布式的方式来执行,那么是得不偿失的.因为sql真正执行的时间可能只有10秒,但是分布式任务的生成得其他过程的执行可能要1分钟.这样的小任务更适合采用lcoal mr的方式来执行.就是在本地来执行,通过把输入数据拉回客户端来执行. 拿select 1 from dual来看下,两种执行方式的效率差
Hive优化---启用local模式
tianqinglei的博客
08-22 3294
[查询优化] //是否启用local模式 SET hive.exec.mode.local.auto=true; //默认false //输入的数据量max配置 SET hive.exec.mode.local.auto.inputbytes.max=50000000;        //默认134217728(128M) //task的数量max SET hive.exec.mo
hive mr过程创建文件数太多导致job被kill
那又怎样？的博客
07-01 1091
1.报错如下： [Fatal Error] total number of created files now is 100088, which exceeds 100000. Killing the job. MapReduce Total cumulative CPU time: 5 days 23 hours 48 minutes 22 seconds 380 msec Ended Jo...
本地模式
qq_43192537的博客
10-05 676
本地模式 大多数的Hadoop Job是需要Hadoop提供的完整的可扩展性来处理大数据集的。不过，有时Hive的输入数据量是非常小的。在这种情况下，为查询触发执行任务消耗的时间可能会比实际job的执行时间要多的多。对于大多数这种情况，Hive可以通过本地模式在单台机器上处理所有的任务。对于小数据集，执行时间可以明显被缩短 用户可以通过设置hive.exec.mode.local.auto的...
HBase二级索引实践（带你感受二级索引的力量）
热门推荐
little prince，blue coder
07-22 1万+
 hyper_table之前HBase SQL BulkLoad环节创建的，我们将数据通过BulkLoad方式导入预先分好Region的hyper_table表中。具体参考如下博文： HBase中利用SQL BulkLoad快速导入数据   这里大家只要清楚此表结构即可，结构如下： hyper_table表结构 字段 rowkey num country rd...
hive开启本地模式执行
xiao_jun_0820的专栏
01-06 1万+
先讲一个hive使用的一个小技巧。对于使用惯了oracle数据库的人来说，hive中没有dual啊，想验证一些函数的执行结果很是麻烦。 比如我们在oracle数据库里面可以写select (1+2) from dual可以返回3。 为了保证使用习惯，我们类似的在hive中也建一张dual表:create table dual(dummy string) 然后往这张表中导入一个只有一行数据的文
hive本地模式设置
jackfeng86的专栏
06-08 1054
group by 需要跑多个ReduceTask，所以比较慢，怎么解决？ 开启本地模式，也就是不让他在集群上跑，而是跑hive机器的本地hadoop上； --查看hive本地执行模式状态 set hive.exec.mode.local.auto; hive (default)> set hive.exec.mode.local.auto; hive.exec.mode.local.auto=false --修改为true set hive.exec.mode.local.auto=true;.
Ended Job = job_local1098150646_0012 with errors Error during job, obtaining debugging information... FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask。
最新发布
06-28
Hive 在执行 MapReduce 任务时出现 `FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask` 错误，通常表示任务在提交阶段失败，可能由于资源不足、配置错误或本地模式运行...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值