【Hive十八】Hive QL中使用配置的变量

最新推荐文章于 2024-12-17 19:50:53 发布
原创 最新推荐文章于 2024-12-17 19:50:53 发布 · 241 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#大数据

本文介绍了在Hive中如何通过set命令设置配置变量，并利用这些变量进行SQL查询。包括直接在Hive命令行中设置变量及启动时通过命令行参数设置变量的方法。

1. 使用set命令，设置参数

hive>set XYZ=abc

hive>select * from t1 where line = '${hiveconf:XYZ}'

 

等价于

 

hive>set XYZ=’abc‘

hive>select * from t1 where line = ${hiveconf:XYZ}

 

2.以hive --hiveconf XYZ=abc启动

 

hive>set XYZ

输出abc

 

hive>select * from t1 where line = ${hiveconf:XYZ}

查询line列为abc的记录

 

 

 

 

 

hive的变量传递设置
lonely7345的专栏
04-07 4097
hive的变量传递设置今天同事在oozie的workflow中执行一个hive查询，但是直接就报异常：Variable substitution depth too large:40，从网上查询可知，可以确认是由于语句中使用了过多的变量导致，在hive以前的版本中，这个限制是写死的40个，查询Hive的最新的原代码，虽然判断的位置的提示信息已经变化，但是原理一样
hive安装 和 Hive环境准备 （hive on Spark 、Yarn队列配置）
最新发布
xinghaoyan的专栏
07-04 819
摘要：本文详细介绍了Hive 3.1.2的安装部署过程，包括解压安装包、配置环境变量和解决日志冲突。重点说明如何将Hive元数据配置到MySQL，包括驱动配置和hive-site.xml文件设置。同时讲解了Hive服务的启动方法，包括初始化元数据库、编写启动脚本等。此外，还介绍了Hive与Spark的集成配置，包括Spark编译、环境变量设置和HDFS路径创建。最后说明了Yarn容量调度器中新增hive队列的配置方法，以及如何将Hive任务提交到指定队列。整个流程涵盖了Hive安装、配置到集成的完整步骤。
HiveQL：数据定义
hxh的博客
12-07 536
–查看数据库s show databases; –创建数据库 create database human_resources; –查找开头为h的所有数据库 show database like 'h.*'; –创建数据库，并指定位置 create database financials location 'my/dir' –创建数据库。并添加说明 create database fina...
Hive详解之参数和变量设置
lixinkuan的博客
10-05 1万+
hive 参数、变量 hive当中的参数、变量，都是以命名空间开头 通过${}方式进行引用，其中system、env下的变量必须以前缀开头 注：临时会话参数 hive -d val=1; 或者 hive -define val=1; 或者 hive --hivevar val=1; hive 参数设置方式 1、修改配置文件 ${HIVE_HOME}/conf/hive-site....
Hive中用参数变量在HQL中执行
BabyFish13
02-14 8186
Hive配置属性存储于 hiveconf 命名空间中，该命名空间中的属性是可读写的。在查询语句中插入 '${hiveconf:变量名}'，就可以通过 hive -hiveconf来替换变量。例如，查询语句和执行方式如下： [root]$cat test.sql    #查看该文件 SELECT * FROM ${hiveconf:tablename} limit ${hiveconf:var_...
HiveQL查询变量(动态参数值)的使用
热门推荐
BabyFish13
01-24 1万+
主要用hiveconf来进行变量值的获取,格式如下： 变量赋值： set pt_day='2016-12-31'; 变量引用： ${hiveconf:pt_day}  --> 用在Hql里 参考示例： set pt_day='2016-12-31'; drop table if exists xx_new_identifier; create table xx_new_identi
hive 配置文件
03-03
Hive是Apache Hadoop生态系统中的一个数据仓库工具，它允许用户使用SQL方言（HQL）进行数据查询、处理和分析。在Hive的运行中，配置文件起着至关重要的作用，它们定义了Hive的行为、连接到的数据存储以及性能相关的...
Hive on Spark配置
ayong95的专栏
12-17 2714
Hive on Spark安装,hadoop-3.3.0,spark-3.4.3-bin-hadoop3,apache-hive-3.1.3
Hive官方使用手册——变量替换
三米学习笔记杂货铺
03-23 3037
本文为自己翻译的译文，原文地址：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+VariableSubstitutionHive官方使用手册——变量替换简介Hive用于批处理和交互式查询。变量替换允许任务，例如将特定于环境的配置变量与代码分离。Hive变量替代机制的设计是为了避免在Hive之上的脚本语言中加入一些代码。...
Hive数据仓库---Hive的安装与配置
m0_58625397的博客
03-26 2456
Hive的安装与配置
HiveQL动态参数值的使用
Signal_Du的博客
12-17 2111
set begin_date = '2018-01-01';--设置变量 select ${hiveconf:begin_date};--使用变量
Hive 优化-限制用户误交大作业查询
wangqiaowqo的专栏
09-25 211
最近有些同事些sql进行查询时，sql语句里不指定partition字段，这样直接造成hive生成Hadoop的MapReduce任务时查询的数据量巨大，从而影响整个集群的性能。经研究可以通过配置Hive参数来预防此类错误，从而达到优化的目的。 在hive-site.xml中添加以下配置： hive.mapred.mode ...
Hive SQL变量设置
weixin_43852674的博客
02-11 1万+
set test = NULL; -- Attention: 外边加了字符串索引 select count('${hiveconf:test}') ; _c0 1 set test = NULL; select count(${hiveconf:test}) ; Fail set hivevar:test= 793; select count(${test}) ; 1 set hivevar...
大数据手册(Hive)--HiveQL
WilenWu
07-03 1万+
目录 HIVE命令 HIVE数据类型 HIVE内置运算符 HiveQL常用语句 创建/删除数据库 创建/删除表 修改表结构 导入数据 插入数据 查询语句 其他常用命令 HIVE常用内置函数 Hive视图和索引 hive性能调优 Hive是一个数据仓库基础工具在Hadoop中用来处理结构化数据。它架构在Hadoop之上，总归为大数据，并使得查询和分析方便。 HIVE命...
SQL中的变量
dream的博客
01-29 6669
局部变量：：：局部变量的名称是用户自定义的，命名的局部变量名要符合SQL Server 2000标识符命名规则，必须以@开头 全局变量：：： @@IDENTITY  : 返回最后插入行的标识列的列值。 @@ERROR  : 返回最后执行的Transact-SQL语句的错误代码。没有错误则为零。 @@ROWCOUNT  : 返回受上一语句影响的行数，任何不返回行的语句将这一变量设置为0。 ...
SQLServer--变量的使用
Economic_shark的博客
08-29 1万+
变量的定义与使用局部变量：（仅在过程中使用)必须以标记@作为前缀，如@age，同样要求先声明(使用 declare ),再赋值。这是编程中经常要自己定义的变量类型。use StuManageDB go --声明学号变量 declare @stuId int,@stuName varchar(20)--查询李铭的信息 set @stuName = '李铭' select StudentId,Stud
Hive开发中使用变量的两种方法
蚂蚁学Python
09-13 1906
在使用hive开发数据分析代码时，经常会遇到需要改变运行参数的情况，比如select语句中对日期字段值的设定，可能不同时间想要看不同日期的数据，这就需要能动态改变日期的值。如果开发量较大、参数多的话，使用变量来替代原来的字面值非常有必要，本文总结了几种可以向hive的SQL中传入参数的方法，以满足类似的需要。 准备测试表和测试数据 第一步先准备测试表和测试数据用于后续测试： ...
【Hive十四】Hive读写Parquet格式的数据
bit1129的博客
04-14 4947
 1. 原始数据 hive> select * from word; OK 1 MSN 10 QQ 100 Gtalk 1000 Skype      2. 创建保存为parquet格式的数据表   hive> CREATE TABLE parquet_table(age INT, name STRING)STORED AS PARQUET; ...
【Hive十三】Hive读写Avro格式的数据
bit1129的博客
04-14 1280
 1. 原始数据 hive> select * from word; OK 1 MSN 10 QQ 100 Gtalk 1000 Skype      2. 创建avro格式的数据表   hive> CREATE TABLE avro_table(age INT, name STRING)STORED AS AVRO;     3. 数据表...
Hadoop之上的Hive数据仓库详解
"这是一份关于Hive的中文讲义，涵盖了Hive的基础介绍、安装教程、使用场景和具体实例，旨在帮助读者深入了解Hive在大数据处理中的应用。" Hive是一个构建在Hadoop之上的数据仓库系统，它设计的主要目标是简化对存储...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值