hive -e 和 -f 通过beeline执行文件中的hive sql语句

最新推荐文章于 2022-09-01 00:37:22 发布
原创 最新推荐文章于 2022-09-01 00:37:22 发布 · 置顶 · 1.1w 阅读 · 38 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#Hive

本文介绍如何使用hive-e、hive-f及beeline-f等命令在服务器命令行中直接执行Hive SQL语句或SQL脚本文件，避免进入hive交互模式。文章提供了具体的命令格式示例，并给出了解决账号链接问题的方法。

1. 在服务器命令行中直接执行sql语句或者sql文件中的内容

有时需要在命令行中直接执行hive sql语句，希望不进入hive模式执行，这时候就可以使用hive -e 或者 hive -f 来实现

1. hive -e 和 hive -f 

2. beeline -f ，beeline使用

beeline -u "jdbc:hive2://localhost:10000"  -n yourname -p  passwore -f  hivescript.sql

beeline使用方式请参考：https://www.cnblogs.com/lenmom/p/11218807.html

如果账号链接不上，检查下是不是账号系统ldap服务挂了：systemctl restart slapd

3. 参考链接

https://blog.youkuaiyun.com/paulfrank_zhang/article/details/80735633

https://blog.youkuaiyun.com/u010002184/article/details/99686311

https://blog.youkuaiyun.com/weixin_36630761/article/details/77239451

cdh中使用beeline跑SQL脚本，并且加入kerberos认证
qq_46183404的博客
05-21 853
cdh中hive使用beeline跑SQL脚本，并且加入kerberos认证
apache-hive-2.3.3-bin.tar.gz
04-02
Apache Hive 是一个基于Hadoop的数据仓库工具，它允许用户通过SQL-like语言（称为HQL，Hive Query Language）对大规模数据集进行分析和查询。在Hadoop生态系统中，Hive扮演着数据仓库和数据分析的重要角色，尤其适用...
beeline执行sql文件_hive 脚本用户 and beeline
weixin_33346418的博客
02-06 3992
HiveServer2Clients简介1.beeline是什么​ Beeline，是HiveServer2的JDBC客户端，基于SQLLine命令行接口。Beeline Shell可以工作在嵌入式模式和远程模式，在嵌入式模式中，它运行一个嵌入式的Hive(类似于Hive CLI)，在远程模式中，通过Thrift连接到一个单独的HiveServer2进程，从Hive 0.14开始，当Beel...
java生成excel文件到指定目录_05566.1.0Hive On Spark修改作业临时配置文件生成目录...
weixin_31887861的博客
11-30 367
作者：李继武1文档编写目的在Hive On Spark的模式下，无论是通过Beeline还是hive CLI访问Hive，使用Spark引擎执行SQL语句时，都会在/tmp目录下生成一个spark_submit.*.properties文件。Hive CLI方式会在当前节点/tmp目录生成，使用Beeline方式则会在HiveServer2所在节点的/tmp目录下生成。一般情况下spar...
beeline执行sql文件_Hive/Beeline 使用笔记
weixin_39720662的博客
12-23 1857
Hive:利用squirrel-sql 连接hiveadd driver -> name&example url(jdbc:hive2://xxx:10000)->extra class path ->Add{hive/lib/hive-common-*.jarhive/lib/hive-contrib-*.jarhive/lib/hive-jdbc-*.jarhive/...
存储引擎、mysql体系结构、mysql查询机制
laomumu1992的博客
11-25 386
Mysql插拔式的存储引擎 存储引擎的介绍：1、插拔式的插件方式 2、存储引擎是指定在表之上的，即一个库存中的每一个表都可以指定专用的存储引擎。 3、不管采用什么样的存储引擎，都会在数据区 ，产生对应的frm文件（表结构定义描述文件） cvs...
hive-jdbc-1.2.1-standalone
11-15
在“jars”这个压缩包子文件的文件名称列表中，我们可以推测包含了一系列的JAR（Java Archive）文件，这些文件是Java编程中的库文件，包含了运行Hive JDBC所需的类和资源。通常，这些JAR可能包括以下部分： 1. **...
apache-hive-3.1.2-bin.tar.zip
10-02
1. **Hive架构**：Hive将用户的SQL语句转换为MapReduce任务在Hadoop集群上执行，提供了一种将结构化数据文件映射为数据库表并提供简单的SQL查询功能的方式。 2. **元数据存储**：Hive使用MySQL或Derby等数据库存储...
apache-hive-1.1.0-bin.tar.gz
08-20
在 `apache-hive-1.1.0-bin` 压缩包中，你会找到以下关键目录和文件： - **bin**：包含用于启动 Hive 服务和命令行工具的脚本。 - **lib**：存放 Hive 及其依赖的 JAR 文件，如 Hadoop、Java 库和其他必要的组件。 ...
apache-hive-0.14.0-bin.tar.gz
04-22
通过Hive，用户可以编写SQL语句来操作HDFS（Hadoop Distributed File System）中的大量数据，无需了解底层的MapReduce或Pig等复杂大数据处理框架。 在"apache-hive-0.14.0-bin"这个压缩包中，包含了以下关键组件和...
.sql文件_Mysql分组排序及Sql文件执行
weixin_39595621的博客
11-27 207
最近在做一个临时项目，采用的是mysql开发，主要涉及两个问题：1.一个是传参问题；2.另一个是实现对数据分组取前4的数据。个人感觉很有意义，特此记录一下。一.传参问题执行mysql文件，需要从外部传入参数时，mysql没有hive那么灵活，只有通过sed命令进行处理，比如有sql文件a.sql内容大致如下:create table if not exists dp_co...
beeline执行sql文件_【SparkSQL】介绍、与Hive整合、Spark的th/beeline/jdbc/thriftserve2、shell方式使用SQL...
weixin_39834406的博客
01-26 843
目录一、Spark SQL介绍SQL on Hadoop框架：1)Spark SQL2)Hive3)Impala4)PhoenixSpark SQL是用来处理离线数据的，他的编程模型是DF/DSSpark SQL的特点：1)集成：可以和各种复杂SQL：spark.sql("")2)统一的数据访问：连接Hive, Avro, Parquet, ORC, JSON, and JDBC外部数据源统一的方...
【hive】beeline常用操作指令
开发随笔-猫咪酱
12-03 3847
1、!connect url –连接不同的Hive2服务器 2、!exit –退出shell 3、!help –显示全部命令列表 4、!verbose –显示查询追加的明细 The Beeline CLI 支持以下命令行参数: Option Description --autoCommit=[true/false] ---进入一个自动提交模式：beeline --autoCommit=true --autosave=[true/false] ---进入一个自动保存模式：beel.
MySQL中一条查询是如何执行的
刀林寻诗
10-08 423
现在有一个表T，给定一条如下的sql： mysql> select * from T where ID=10； 我们看到的只是输入一条语句，返回一个结果，却不知道这条语句在 MySQL 内部的执行过程。要了解SQL执行的过程就要先了解MySQL的基本架构体系，如下图： ...
YARN的调度器--------公平调度器（Fair Schedule）
sunqingok的博客
11-11 948
一、特点 1） 可配置的层级队列：所有队列都来自于root队列。可用的资源被分配给root队列的孩子队列，孩子队列分得的资源可统一分配给孩子队列的孩子队列。公平调度支持为每个队列设置不同的策略，让队列通过用户想要的方式来分享资源。 2） 自动把应用程序放置到队列中：允许管理员配置策略，把提交的应用程序自动的放置到合适的队列中。 二、 配置 1） 配置ResourceManager： 在conf/yarn-site.xml中配置yarn.resourcemanager.scheduler.class，值为or
beeline执行sql文件_在Windows中MySQL执行SQL脚本的两种方式
weixin_39761647的博客
01-08 968
在Windows中，MySQL执行SQL脚本有两种方式需要注意的是，SQL脚本要以分号【；】结尾，不然报错方法一：直接在命令行中执行使用root用户，在testdb库执行桌面的test.sql这个SQL脚本，脚本内容是一条简单的查询语句mysql -uroot -p1234 -Dtestdb<C:UsersxieDesktoptest.sql【mysql -uroot -p1234】这里不用...
解决beeline -e 无法执行多条sql 问题
bymain的博客
07-22 3454
beeline -e 执行多行sql 语法
Hive3.1.2的Beeline执行过程
虎鲸不是鱼
09-01 2897
Hive3.1.2的Beeline执行过程
HIVE beeline使用shell 批量执行sql语句
热门推荐
u013385925的专栏
08-24 3万+
shell脚本如图所示： principal：代表的是认证方式 #!/bin/sh #-------------------------------------------- #Date: #Author: #------------------------------------------------ #########################################
hive -e "命令" hide -f "文件名" s什么意思
最新发布
06-05
<think>首先，用户的问题是：“我想了解Hive和hide命令中特定参数的含义请问Hive-e参数用法ANDhide-f参数作用”。这里似乎有个typo，可能是"hide"应该被读作"hive"，因为引用中多次出现"hive"，而不是"hide"。引用[1]中提到了"hive-e"和"hive-f"，引用[2]也提到了"hive"，引用[3]提到了一些参数但主要是关于MongoDB导出工具的。用户写的是"Hiveandhide"，但结合上下文，很可能是"Hive"。我将假设是"Hive"。用户想了解两个特定参数的含义：1.Hive的`-e`参数的用法2.Hive的`-f`参数的作用（用户写了"hide-f"，但可能只是拼写错误）引用[1]提供了信息：-"Hive命令hive-e"命令"hide-f"文件名"(文件中书写命令)"–这里也有"hide"，应该是"hive"。应该是"hive-f"。-它还提到了其他参数如`-S`，但焦点是`-e`和`-f`。-"Hive命令参数hive-help:查看帮助hive-S静默模式,一般和-e-f一起使用"所以，我将解释：-`hive-e"command"`:直接执行一个HiveSQL命令-`hive-f"filename"`:执行一个包含HiveSQL命令的文件引用[2]是关于Hive的"hbase.columns.mapping.prefix.hide"属性，用于Hive表定义中，处理HBase列的前缀。这相关，但不是直接针对`-e`和`-f`。可能可以忽略，除非需要额外上下文。引用[3]是关于MongoDB导出工具的参数，如CSV选项，与Hive无关，不相关。根据系统指令：-行内数学表达式用`$...$`，但这里没有数学。-独立公式用`$$...$$`，但这里不需要公式。-LaTeX语法正确：无需要。-使用中文回答。-生成相关问题。-引用段落末尾添加引用标识，如`[^1]`。-回答结构清晰，逐步解决问题。回答结构：-清晰解释参数用法。-步骤式回答：先介绍，然后详细解释每个参数。-添加相关问题。组织回答：1.**介绍**：简述Hive命令行工具。2.**解释`hive-e`参数**：-描述用法：直接在命令行执行SQL命令。-举例。-引用[1]提到："Hive命令hive-e"命令"..."–参考这个。3.**解释`hive-f`参数**：-描述用法：执行SQL脚本文件。-举例。-引用[1]："hive-f"文件名"..."4.**其他相关信息**：-提到`-S`参数用于静默模式，常与`-e`或`-f`一起使用。-引用[1]说"hive-S静默模式,一般和-e-f一起使用"。5.**生成相关问题**：在回答末尾添加。确保中文。结束回答中添加引用标识：引用[1]的末尾添加`[^1]`。相关问题应基于主题生成。完整回答大纲：-开头：Hive命令行工具提供多个参数来运行查询或脚本。-解释`-e`：-用法：`hive-e"sql_command"`-作用：直接从命令行执行SQL查询。-例如：`hive-e"SELECT*FROMusers;"`运行一个查询。-参考引用[^1].-解释`-f`：-用法：`hive-fscript.sql`-作用：执行文件中的SQL脚本。-例如：如果文件中有多条命令，`hive-fmyscript.sql`会运行它们。-参考引用[^1].-额外提示：`-S`选项启用静默模式，隐藏信息性消息，便于脚本化。-结尾：希望解释对您有帮助。-§§相关问题§§：列出2-3个相关问题。相关问题：1.如何优化Hive命令的性能？2.Hive还有哪些常用命令行参数？3.Hive的静默模式如何使用？确认引用位置。</think> ### Hive 命令行参数解释：`-e` 和 `-f` Hive 是一个基于 Hadoop 的数据仓库工具，常用于处理大数据查询。其命令行界面支持多个参数，其中 `-e` 和 `-f` 是针对执行 SQL 命令的核心选项。下面我将一步步解释这两个参数的用法和作用，确保内容清晰可靠。 #### **1. `hive -e` 参数的用法** `hive -e` 允许您直接在命令行中执行一条 Hive SQL 查询或操作，无需进入交互式 Hive Shell。 - **语法**： `hive -e "Hive_SQL_Command"` 其中，`"Hive_SQL_Command"` 是您要运行的完整 SQL 语句，必须用双引号包裹。 - **作用**： 快速执行单次查询或操作，适用于自动化脚本或临时任务。返回查询结果到终端。 - **示例**： - 运行一个简单查询： ```bash hive -e "SELECT * FROM users WHERE age > 30;" ``` 这会返回表 `users` 中所有年龄大于 30 的记录。 - 结合静默模式（`-S`）抑制额外输出： ```bash hive -S -e "SELECT COUNT(*) FROM logs;" ``` 仅显示查询结果本身（如行数），隐藏日志信息[^1]. - **适用场景**： - 快速测试 SQL 语法或单条命令。 - 在 Shell 脚本中嵌入 Hive 查询以提高效率。 #### **2. `hive -f` 参数的作用** `hive -f` 用于执行一个包含多条 Hive SQL 命令的文件（脚本文件）。这对运行复杂或多步操作非常高效。 - **语法**： `hive -f filename` 其中，`filename` 是 SQL 脚本文件的路径（如 `.hql` 或 `.sql` 后缀）。 - **作用**： 读取文件中的 SQL 语句并依次执行。文件内容可以是多行查询（例如，创建表、插入数据、查询数据）。 - **示例**： - 创建一个 SQL 文件 `script.hql`： ```sql CREATE TABLE IF NOT EXISTS sales (id INT, amount DOUBLE); INSERT INTO sales VALUES (1, 100.0); SELECT AVG(amount) FROM sales; ``` - 执行该文件： ```bash hive -f script.hql ``` 这将顺序执行创建表、插入数据、计算平均值三个步骤。 - 结合静默模式（`-S`）优化输出： ```bash hive -S -f script.hql ``` 隐藏过程信息，只显示最终结果[^1]. - **适用场景**： - 批量运行复杂数据处理任务（如 ETL 流程）。 - 复用 SQL 脚本库，减少手动操作。 #### **额外说明** - **静默模式 (`-S`)**：常与 `-e` 或 `-f` 配合使用（例如 `hive -S -e ...`），抑制非查询相关的输出（如日志信息），适合自动化脚本[^1]. - **元数据库要求**：使用 Hive 时（包括 `beeline` 客户端），需确保 Hive 元数据库（如 MySQL）已正确设置，否则可能拒绝连接[^1]. - **其他参数**： - `hive --help`：查看所有可用参数帮助。 - `hive --set hive.var=value`：动态设置变量值。 希望以上解释能帮助您理解 Hive 命令行工具的核心用法。如果使用中的任何问题，可以进一步查询文档或结合日志排查问题[^1]. --- ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值