Hive设置参数-指定引擎-队列

怎样在Hive提交任务的时候指定队列? 阅读详情

文章转载:https://www.cnblogs.com/huangmr0811/p/5571001.html

Hive提供三种可以改变环境变量的方法,分别是:(1)、修改${HIVE_HOME}/conf/hive-site.xml配置文件;(2)、命令行参数;(3)、在已经进入cli时进行参数声明。下面分别来介绍这几种设定。

方法一:
  在Hive中,所有的默认配置都在 H I V E H O M E / c o n f / h i v e − d e f a u l t . x m l 文 件 中 , 如 果 需 要 对 默 认 的 配 置 进 行 修 改 , 可 以 创 建 一 个 h i v e − s i t e . x m l 文 件 , 放 在 {HIVE_HOME}/conf/hive-default.xml文件中,如果需要对默认的配置进行修改,可以创建一个hive-site.xml文件,放在 HIVEH​OME/conf/hive−default.xml文件中,如果需要对默认的配置进行修改,可以创建一个hive−site.xml文件,放在{HIVE_HOME}/conf目录下。里面可以对一些配置进行个性化设定。在hive-site.xml的格式如下:

<configuration>
    <property>
        <name>hive.metastore.warehouse.dir</name>
        <value>/user/hive/warehouse</value>
        <description>location of
              default database for the warehouse</description>
    </property>
</configuration>

所有的配置都是放在标签之间,一个configuration标签里面可以存在多个标签。标签里面就是我们想要设定属性的名称;标签里面是我们想要设定的值;<description;<标签是描述在这个属性的,可以不写。绝大多少配置都是在xml文件里面配置的,因为在这里做的配置都全局用户都生效,而且是永久的。用户自定义配置会覆盖默认配置。另外,Hive也会读入Hadoop的配置,因为Hive是作为Hadoop的客户端启动的,Hive的配置会覆盖Hadoop的配置。

方法二:
  在启动Hive cli的时候进行配置,可以在命令行添加-hiveconf param=value来设定参数,例如:

1

[wyp@master ~]$ hive --hiveconf mapreduce.job.queuename=queue1

这样在Hive中所有MapReduce作业都提交到队列queue1中。这一设定对本次启动的会话有效,下次启动需要重新配置。

方法三:
  在已经进入cli时进行参数声明,可以在HQL中使用SET关键字设定参数,例如:

hive> set mapreduce.job.queuename=queue1;

这样也能达到方法二的效果。这种配置也是对本次启动的会话有效,下次启动需要重新配置。在HQL中使用SET关键字还可以查看配置的值,如下:

hive> set mapreduce.job.queuename;

mapreduce.job.queuename=queue1

我们可以得到mapreduce.job.queuename=queue1。如果set后面什么都不添加,这样可以查到Hive的所有属性配置,如下:

hive> set;
datanucleus.autoCreateSchema=true
datanucleus.autoStartMechanismMode=checked
datanucleus.cache.level2=false
datanucleus.cache.level2.type=none
datanucleus.connectionPoolingType=DBCP
datanucleus.identifierFactory=datanucleus
datanucleus.plugin.pluginRegistryBundleCheck=LOG
datanucleus.storeManagerType=rdbms
datanucleus.transactionIsolation=read-committed
datanucleus.validateColumns=false
datanucleus.validateConstraints=false
datanucleus.validateTables=false
 
............................

上述三种设定方式的优先级依次递增。即参数声明覆盖命令行参数,命令行参数覆盖配置文件设定。

Hive配置Spark计算引擎,速度快! 1.1 Hive引擎简介 ​ Hive引擎包括:默认MR、tez、spark Hive on Spark:Hive既作为存储元数据又负责SQL的解析优化,语法是HQL语法,执行引擎变成了Spark,Spark负责采用RDD执行。 Spark on Hive : Hive只作为存储元数据,Spark负责SQL解析优化,语法是Spark SQL语法,Spark负责采用RDD执行。 1.2 Hive on Spark配置 1)兼容性说明 注意:官网下载的Hive3.1.2和Spark3.0.0默认是不兼容的。因为 阅读详情

相关推荐

Hive如何设置hive on spark 模式及提交任务到指定队列

如何设置hive on spark 模式及提交任务到指定队列

编程技术、独立开发、技术资讯以及编程感悟等内容 1228

hive 指定yarn queue

Hive提供三种可以改变环境变量的方法,分别是: (1)修改${HIVE_HOME}/conf/hive-site.xml配置文件; (2)命令行参数; (3)在已经进入cli时进行参数声明。下面分别来介绍这几种设定。 上述三种设定方式的优先级依次递增。即参数声明覆盖命令行参数,命令行参数覆盖配置文件设定。 方法一 在Hive中,所有的默认配置都在${HIVE_HOME}/conf/h...

qq_34897849的博客 6658

Hive tez引擎写入的数据,切换mr引擎后查询不出来

tez引擎写入的数据,切换mr引擎后查询不出来

编程技术、独立开发、技术资讯以及编程感悟等内容 981

hive设置队列

hive 设置队列 hive 设置队列首先要确定使用的计算引擎是哪个 hive默认使用的是 mr 可以是以下两类:mr 和 tez set hive.execution.engine=mr; set hive.execution.engine=tez; 如果使用的是默认mr: 设置队列: 方法一:hive cli 登录后使用 set mapreduce.job.queuename=queue-name;(新版本) 方法二:h...

XXXL___Huo的博客 8054

Hive mapjoin相关参数

mapjoin相关参数

编程技术、独立开发、技术资讯以及编程感悟等内容 1200

吃透Chisel语言.04.Chisel基础(一)——信号类型和常量

开始肯定是介绍Chisel的基础内容了,《Chisel基础》这一部分主要会介绍数字设计中的两个基本组件:组合电路和触发器。这俩基本组件都不复杂,但是组合在一起就可以得到规模很大、功能也很强大的数字电路了。 第一部分我们就简单地看看Chisel中的信号类型和常量,在上一篇文章中也有相关介绍,其中还包括和Verilog之间的对比。......

github-3rr0r的博客 3824

hive指定hadoop执行队列

指定队列的命令: 有三种: set mapred.job.queue.name=queue3; SET mapreduce.job.queuename=queue3; set mapred.queue.names=queue3; 老版本一般 mapred开头 新版本是mapreduce开头 老版本对应的新版本参数可以查出来 队列自己设定, 测试时注意 sele...

weixin_30763455的博客 1766

深入浅出ISP:用RKISP2.x Tuner工具理解AWB、AE、HDR等核心模块的实战调参

本文深入解析RKISP2.x Tuner工具在ISP图像处理中的实战应用,重点探讨AWB、AE、HDR等核心模块的调参技巧。通过环境搭建、调试工具使用和实际案例,帮助开发者掌握如何在不同光照条件下优化图像质量,实现精准的白平衡、曝光控制和动态范围处理。

weixin_26802933的博客 489

hive 设置队列

 hive 设置队列需要根据所使用的引擎进行对应的设置才会有效果,否则无效设置引擎set hive.execution.engine=mr;  set hive.execution.engine=spark;  set hive.execution.engine=tez;  如果使用的是mr(原生mapreduce)SET mapreduce.job.queuename=etl;如果使用的引擎是t...

qbs946的专栏 1万+

达梦数据库连接报错6001网络通信异常

本文主要记录客户端连接达梦数据库报错6001网络通信异常问题分析过程、问题原因以及问题解决方法。

chen_zizi2025的博客 2774

老N卡福音:GT1030/GTX1050在MacOS Ventura 13.2上的完整驱动指南(附实测截图)

本文详细介绍了如何在MacOS Ventura 13.2上通过OCLP工具链驱动GT1030和GTX1050等老款NVIDIA显卡,涵盖硬件兼容性验证、BIOS设置、OpenCore配置、驱动安装及性能测试全流程。实测数据显示,这些基于Pascal和Maxwell架构的显卡在当代MacOS系统中仍能发挥实用价值,为老N卡用户提供完整解决方案。

weixin_30832143的博客 633

hive on spark。beeline指定队列和设置参数

今天hive引擎从tez迁移到了spark。希望通过beeline指定队列和参数。 beeline -u 'jdbc:hive2://host:port?mapreduce.job.queuename=queue;spark.executor.instances=5;spark.executor.cores=1;spark.executor.memory=4G' -n username;

dkk2014的博客 4775

PyMiMi实战指南:midas_api配置与连接测试详解

本文详细介绍了PyMiMi库中midas_api的配置与连接测试全流程。从环境准备、API密钥获取,到核心的url_cfg配置函数使用,再到通过test_url进行连接验证,提供了清晰的步骤和代码示例。文章重点解析了配置原理、常见错误排查方法(如401错误、连接超时),并强调了API密钥的安全性管理,帮助用户稳固建立Python与Midas Civil NX之间的自动化通信桥梁。

weixin_29044713的博客 712

tez引擎下,指定队列失效Cannot modify tez.queue.name at runtime

指定队列命令(在hive环境执行) set tez.queue.name=periodic; 报错: Error: Error while processing statement: Cannot modify tez.queue.name at runtime. It is not in list of params that are allowed to be modified at runtime (state=42000,code=1) 设置参数没生效,需要在hive配置中添加白名单配置 解决办法

one_uueu的博客 2227

Microsemi Libero系列教程(四)——PLL的使用

文章目录PLL是什么Libero中PLL的使用官方文档 系列教程:Microsemi Libero系列教程 PLL是什么 PLL(Phase Locked Loop): 为锁相回路或锁相环,用来统一整合时钟信号,使高频器件正常工作,如内存的存取资料等。PLL用于振荡器中的反馈技术。 许多电子设备要正常工作,通常需要外部的输入信号与内部的振荡信号同步。一般的晶振由于工艺与成本原因,做不到很高的频率...

whik1194的博客 7216

Android 13.0仿ios的hotseat效果修改hotseat样式

在13.0系统产品rom定制化开发中,在项目需求的需要,系统原生Launcher的布局样式很一般,所以需要重新设计ui对布局样式做调整,产品在看到 ios的hotseat效果觉得特别美观,所以要仿ios一样不需要横屏铺满的效果 居中显示就行了,所以就要看hotseat的具体布局显示了

安卓兼职framework和app工程师的博客 1144

Hive 执行优化

Hive 执行优化<未完成> 1、命令行执行显示优化 set hive.cli.print.current.db=true; 让提示符显示当前库 set hive.cli.print.header=true; 显示查询结果时显示字段名称 set hive.fetch.task.conversion=more; 查询不会执行mapreduce程序, 优化全局查找、字段查找、limit查找 出现在hive 0.10,0.10~0.13 默认值 minimal 0.14后 默认为 more

weixin_44560999的博客 1000

knowhere | 第一课:项目导论与环境搭建

摘要 本课程是Knowhere项目的第一课,重点介绍项目整体架构和开发环境搭建。Knowhere定位为AI Agent的文档记忆基础设施,通过解析多格式文档并保留结构化信息(如章节层级、表格语义等),为Agent提供可导航的文档知识。项目采用Python monorepo结构,核心包括: apps/api:FastAPI服务,处理HTTP请求和流程调用 apps/worker:Celery服务,执行文档解析等耗时任务 packages/shared-python:共享基础设施层 课程明确了各层职责边界,并推

weixin_43674738的博客 153

【Hive入门】Hive性能调优之资源配置:深入解析执行引擎参数调优

合理的资源配置是Hive性能调优的基础,本文将深入探讨如何通过调整MapReduce、Tez和Spark三种执行引擎的内存与并发参数来优化Hive查询性能。

IT成长日记的博客 1876

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

hive on spark应用如何设置spark应用的参数?

hive on spark应用如何设置spark应用的参数?

编程技术、独立开发、技术资讯以及编程感悟等内容 906

RU DOS版、EFI版32bit/64bit BIOS常用工具

DOS版、EFI版的RU工具,可用来查看IO、MEM、PCI、SMBIOS等资源。亲测在EFI SHELL下可用。

【Hive】临时修改Hive计算引擎与Yarn队列

配置mapreduce计算引擎 set hive.execution.engine=mr; set hive.execution.engine=spark; set hive.execution.engine=tez;

Together 907

hive 常用参数、参数优化_set hive

tez.runtime.io.sort.mb:设置输出排序内存大小,默认100,建议:40%*hive.tez.container.size,一般不超过2G。开启hive.vectorized.execution.enabled操作,默认是关闭状态,将一个普通的查询转化为向量化查询执行是一个Hive 特性。Hive.exec.parallel.thread.num:默认8,最多并行的作业数量,即1个sql最多允许8个mr或tez作业并行。

2401_89790750的博客 741

hive计算航班某型号个数_Hive计算参数设置

在Hive计算中,经常会根据计算引擎的不同(hive on spark与hive on mr),设置两套参数。Spark参数:setspark.master=yarn-cluster;#设置spark提交模式sethive.execution.engine=spark; #设置计算引擎set spark.yarn.queue=queue_name; ...

weixin_39868414的博客 175

Hive计算参数设置

在Hive计算中,经常会根据计算引擎的不同(hive on spark与hive on mr),设置两套参数。 Spark参数: setspark.master=yarn-cluster; #设置spark提交模式 sethive.execution.engine=spark; #设置计算引擎 set spark.y...

weixin_30642029的博客 169

Hive设置自定义参数出现递归调用

Hive设置自定义参数出现递归调用

编程技术、独立开发、技术资讯以及编程感悟等内容 968

hive on spark 参数设置

hive on spark 相关参数设置 #设置计算引擎 set hive.execution.engine=spark; #设置spark提交模式 set spark.master=yarn-cluster; #设置作业提交队列 set spark.yarn.queue=queue_name; #设置作业名称 set spark.app.name=job_name; #该参数用于设置Spark作业总共要用多少个Executor进程来执行 set spark.executor.instances=2

ShiHao_Li的博客 2605
上一篇: 解决ubuntu系统root用户下Chrome无法启动问题
Ronney-Hua
博客等级 码龄10年 48粉丝 74原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值