hive1.2版本设置队列问题

最新推荐文章于 2025-05-03 10:29:55 发布
原创 最新推荐文章于 2025-05-03 10:29:55 发布 · 1.6k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文详细介绍了在Ambari的Hadoop集群环境下，如何针对不同的计算引擎（如MapReduce, Tez, Spark）正确设置Hive队列，以实现资源的有效管理和任务调度。文章指出，在使用特定引擎时，必须使用相应的队列设置命令，如使用Tez引擎时应设置tez.queue.name参数。

环境ambari的hadoop集群

使用如下命令设置队列，不生效
set mapreduce.job.queuename=hive;

之后再网上搜索了一下找到原因了，共享给需要的朋友，hive 1.2版本有引擎之说

查看引擎
hive> set hive.execution.engine;
hive.execution.engine=tez

需要使用set tez.queue.name=da; 设置队列(da是队列名字)


设置mapreduce计算引擎
set hive.execution.engine=mr;

设置spark计算引擎
set hive.execution.engine=spark;

注意： hive 设置队列需要根据所使用的引擎进行对应的设置才会有效果，否则无效

【Hive】-- hive 3.1.3 伪分布式部署（单节点）
欢迎来到我的博客，一起探索代码里的世界！
12-13 605
hadoop3的默认端口：https://www.stefaanlippens.net/hadoop-3-default-ports.html。hadoop3默认端口：https://blog.csdn.net/high2011/article/details/144406887。访问 namenode：http://localhost:9870/dfshealth.html#tab-overview。访问 yarn：http://localhost:8088/cluster/nodes。
大数据领域 Hive 与 Spark 的集成应用
最新发布
AI天才研究院
05-10 1302
随着企业数据量呈指数级增长，传统单一计算引擎已难以满足复杂的数据处理需求。Hive 作为基于 Hadoop 的分布式数据仓库，擅长离线批量数据处理和 SQL 语义支持；Spark 则以内存计算为核心，提供批处理、流处理、机器学习等统一计算框架。本文旨在解析两者集成的技术原理、实施路径及应用价值，覆盖从基础架构设计到性能优化的全流程，帮助读者掌握高效的数据处理解决方案。背景介绍：明确技术定位与读者对象核心概念与联系：剖析 Hive 与 Spark 的架构特征及集成逻辑核心集成原理与操作步骤。
Hive切换计算引擎
象在舞的技术专栏
04-21 1854
Hive通过配置hive.execution.engine参数来切换底层的计算引擎，具体为： （1）底层为MapReduce计算引擎 set hive.execution.engine=mr;
设置hive执行引擎
ViaNnAljj的博客
01-28 5622
1、mapreduce计算引擎(默认) set hive.execution.engine=mr; 2、Tez计算引擎 set hive.execution.engine=Tez;
0588-6.1.0-命令行动态指定MapReduce运行参数无效问题分析
Hadoop_SC的博客
11-08 658
1 文档编写目的 在本地完成MapReduce程序的开发后，打包提交到服务器上，然后在命令行使用hadoop jar命令运行，并在运行时动态的指定参数（如：Map和Reduce的内、资源池等参数）。通过在命令行添加“-D mapreduce.job.queuename=资源池名”的方式来指定。本篇文章Fayson主要讲述动态指定MapReduce作业参数无效问题分析。 2 问题描述 Clouder...
hive tez模式设置queuename队列名
遥望......
12-03 5559
hive --hiveconfmapreduce.job.queuename=xxx --hiveconfhive.server2.map.fair.scheduler.queue=false
hive指定hadoop执行队列
weixin_30763455的博客
07-22 1726
指定队列的命令： 有三种： set mapred.job.queue.name=queue3; SET mapreduce.job.queuename=queue3; set mapred.queue.names=queue3; 老版本一般 mapred开头 新版本是mapreduce开头 老版本对应的新版本参数可以查出来 队列自己设定， 测试时注意 sele...
apache Atlas 1.2.0 搭建以及hive的集成
weixin_44445168的博客
12-05 1444
apache Atlas 1.2.0 搭建以及hive的集成 简介 ps:(官网摘抄) Atlas 是一组可扩展且可扩展的核心基础治理服务，使企业能够高效、高效地满足 Hadoop 内的合规性要求，并允许与整个企业数据生态系统集成。 为组织提供开放的元数据管理和治理功能，以构建其数据资产目录，对这些资产进行分类和治理，并为数据科学家、分析师和数据治理团队提供围绕这些数据资产的协作功能。 特点: 元数据类型和实例 各种 Hadoop 和非 Hadoop 元数据的预定义类型 能够为要管理的元数据定义新类型 类
利用大数据领域 Hive 进行实时数据监控
AI天才研究院
05-03 1447
在数字化转型时代，企业对业务数据的实时性要求日益提升。实时数据监控作为保障数据质量、业务稳定的关键环节，广泛应用于电商（订单漏单监控）、金融（交易异常检测）、物联网（设备状态预警）等领域。传统实时监控多依赖Kafka+Flink等流处理框架，但Hive作为大数据领域的经典数据仓库工具，通过优化（如LLAP、小文件治理）可实现分钟级准实时监控，弥补批处理与流处理间的能力 gap。本文聚焦Hive在分钟级准实时监控场景的应用，覆盖原理、优化、实战全流程。核心概念：解析Hive架构与实时监控的冲突点及优化方向；
hive on spark集群环境部署（彻底摆脱做毕设没环境）
m0_64893323的博客
11-13 1547
hive on spark环境部署
Hive 没有设置队列 return code 1
ToolMan238的博客
08-10 345
解决方法：set mapreduce.job.queuename=xxx;(队列名)
Hive任务被阻塞，配置yarn多队列
qq_42672132的博客
08-25 1119
一、出现的问题 hive客户端开着，shell脚本中的hive任务启动不起来。 二、解决方法 在Yarn中额外配置一条队列，hive客户端中的任务提交到这个新的队列中 vim $HADOOP_HOME/etc/hadoop/capacity-scheduler.xml <!--修改：添加hive队列，然后把容量调整一下，看你个人--> <property> <name>yarn.scheduler.capacity.root.queues</name&g
CDH中将hive计算引擎调整为spark及hive引擎设置相关命令
HD0do的博客
05-14 3965
CDH中将hive计算引擎调整为spark 1.在CDH的hive中搜索配置参数：hive.execution.engine 2.第一步仅仅是修改的jdbc，也就是beeline远程连接时候计算引擎修改为hive，还需修改hive-site.xml中的hive.execution.engine配置文件为spark <!--Hive执行引擎--> <property> <name>hive.execution.engine</name> &lt
hive-set设置总结
yuzaijiang2012的博客
05-14 4258
直接set命令可以看到所有变量值。set单个参数，可以看见这个参数的值。 常用hiveconf Hive相关的配置属性总结set hive.cli.print.current.db=true;在cli hive提示符后显示当前数据库。set hive.cli.print.header=true;显示表头。select时会显示对应字段。set hive.mapred.mode=strict;防止笛卡儿积的执行;如果对分区表查询，且没有在where中对分区字段进行限制，报错FAILED: Semant...
设置hive 参数
小憨憨的博客
02-28 1447
set hive.execution.engine=mr; set mapreduce.map.memory.mb=4096; set mapreduce.reduce.memory.mb=8192; set hive.support.concurrency=false; set hive.exec.dynamic.partition=true; set hive.exec.dynamic.partition.mode=nonstrict; set hive.exec.max.dynamic.par
tez引擎下，指定队列失效Cannot modify tez.queue.name at runtime
one_uueu的博客
10-11 2162
指定队列命令（在hive环境执行） set tez.queue.name=periodic; 报错： Error: Error while processing statement: Cannot modify tez.queue.name at runtime. It is not in list of params that are allowed to be modified at runtime (state=42000,code=1) 设置参数没生效，需要在hive配置中添加白名单配置 解决办法
hive大小文件合并
KANGBboy的博客
09-28 4556
hive -e “set tez.queue.name=usershell; 启用哪个队列 set hive.execution.engine=tez; 启用引擎 set hive.merge.tezfiles=true; 开启合并 set hive.merge.smallfiles.avgsize=16000000; 文件合并标准（低于16000000kb进行合并） set hive.merge.size.per.task=128000000;文件合并大小（最终文件大于128000000后，停止合并，合
hive 优化设置
z7one
03-04 627
#添加第三方jar包, 添加临时函数 add jar ***.jar; #启动非严格模式，可以进行笛卡尔积连接（含非等值连接），order by不必接limit, 分区表查询where中不一定非要加分区字段 set hive.mapred.mode =nonstrict; #MR框架配置 set hive.execution.engine=mr; --设置执行引擎为mapreduce set mapreduce.framework.name=yarn; --设置框架为新的yarn框架 #...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值