[Hive] 脚本的执行方式

最新推荐文章于 2024-01-21 20:22:18 发布

memoryqiu

最新推荐文章于 2024-01-21 20:22:18 发布

阅读量1.5k

点赞数 2

分类专栏： SQL

本文链接：https://blog.youkuaiyun.com/sinat_25873421/article/details/80325604

版权

SQL 专栏收录该内容

38 篇文章

订阅专栏

hive脚本的执行方式大致有三种：

# 1. hive控制台执行；
 hive> select * from t1;

# 2. hive -e "SQL"执行； 
hive -e "select * from student where sex = '男'" > /tmp/output.txt

# 3. hive -f SQL文件执行；
hive -f test.sql

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

memoryqiu

关注关注

2
点赞
踩
2

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

完整的Hive脚本

someInNeed的博客

05-17

1048

上线的Hivesql必须配合Shell脚本使用，并且将问题写入日志 #!/bin/bash source /etc/profile source /opt/security/profiles/fbi_authenticate.sh ####业财队列 if [ $# != 1 ] ; then echo "USAGE: $0 number of parameters used: 1" echo " parameter 1: beginDate yyyyMMdd" exit 1; fi rpt

hive脚本的三种执行方式

pan_haufei的博客

08-17

2646

1.hive控制台执行，安装了hive之后直接命令行输入hive，进入控制台。 2.hive -e "sql语句",直接输入就会有结果，sql语句根据具体情况自己书写 3.hive -f a.sql -hivevar table=people a.sql的内容如下 set mapred.job.queue.name=default; set hive.exec.red

参与评论您还未登录，请先登录后发表或查看评论

hive-shell批量命令执行脚本的实现方法

09-15

今天小编就为大家分享一篇hive-shell批量命令执行脚本的实现方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧

hive脚本执行方式

我见青山多妩媚，料青山见我应如是

11-16

3967

hive脚本的执行方式 hive脚本的执行方式大致有三种： hive控制台执行； hive -e "SQL"执行； hive -f SQL文件执行；参考hive用法： usage: hive -d,--define &lt;key=value&gt; Variable subsitution to apply to hive ...

shell命令执行hive脚本

weixin_74292291的博客

01-21

1590

shell命令执行hive脚本，Hive的hql命令的四种执行方式

# Hive脚本执行方式

不积跬步，无以至千里；不积小流，无以成江海

03-15

255

Hive脚本执行方式 1.Hive -e //将Hive查询的结果直接输出到./taopaiche.txt 本地目录非Hdfs目录 hive -e "SELECT x.car_number,x.area_name,x.etcname,x.idcard,x.color,y.area_name area_name1,y.color color1,y.idcard idcard1 from bigda...

[Hive]Hive执行脚本的方式以及转义字符

热门推荐

个人技术博客

09-17

3万+

1. hive脚本的执行方式hive脚本的执行方式大致有三种： 1. hive控制台执行； 2. hive -e "SQL"执行； 3. hive -f SQL文件执行；参考hive的用法usage: hive -d,--define <key=value> Variable subsitution to apply to hive

如何在python中写hive脚本

09-18

以下将详细介绍如何在Python环境中执行Hive查询和管理Hive脚本。 1. **直接执行Hive SQL脚本** 可以使用`os`模块的`popen`函数直接执行存储在本地的.sql文件。例如： ```python import os hive_cmd = "hive ...

python调用hive脚本_python 中写hive 脚本

weixin_40005454的博客

02-04

815

1、直接执行.sql脚本import numpy as npimport pandas as pdimport lightgbm as lgbfrom pandas import DataFramefrom sklearn.model_selection import train_test_splitfrom io import StringIOimport gcimport sysimport ...

Hive中常见的脚本

lihuazaizheli的博客

09-15

1090

HIVE中创建脚本

hive脚本的执行方式大致有三种

流风雨情的博客

03-02

9353

hive脚本的执行方式大致有三种：参考hive的用法： usage: hive -d,--define <key=value> Variable subsitution to apply to hive commands. e.g. -d A=B or --define A=B ...

hive客户机执行sql脚本无法显示表头

life is short,I love data analysis的博客

12-14

477

hive客户机执行sql脚本无法显示表头

Hive脚本

onlyyou0516的博客

05-24

399

http://www.powerxing.com/hadoop-build-project-using-eclipse/ /*第四章 HiveQL：数据定义*/ /*4.1 Hive中的数据库*/ create database financials; create database if not exists financials; show databases; crea

Hive 脚本

tianxiajianling的专栏

01-25

724

Hive 子嵌套不能在 where语句中用，只能在from中使用可以通过join on 来实现where子嵌套功能

hive 脚本

weixin_34007906的博客

05-06

125

2019独角兽企业重金招聘Python工程师标准>>> ...

hive脚本

BestwishesTolover的专栏

06-04

945

Hive 注意 hive分区字段不能包含中文字段值 hive学习网站 HIVE函数大全大数据博客 HIVE资料新建表 create table kdcloud_cosmic_poa.ztest_poa_1( time STRING, num STRING ); 按分区新建表 create table kdcloud_cosmic_poa.ztest_poa_1( time STRING, num STRING )partitioned by(day string);

启动Hive脚本

weixin_50213935的博客

11-26

1392

启动Hive脚本总所周知： Hive启动前需要先启动集群前台启动的方式导致需要打开多个shell窗口，可以使用如下方式后台方式启动 nohup: 放在命令开头，表示不挂起,也就是关闭终端进程也继续保持运行状态 2>&1 : 表示将错误重定向到标准输出上 &: 放在命令结尾,表示后台运行一般会组合使用: nohup [xxx命令操作]> file 2>&1 & ，表示将xxx命令运行的结果输出到file中，并保持命令启动的进程在后台运行。如

Hive常用脚本

DSSZLLZH的博客

02-07

243

Hive常用脚本

hive安装执行hive脚本

最新发布

01-04

### Hive 安装教程 #### 准备工作为了成功安装 Apache Hive，在环境配置方面需确保已正确部署 Java 和 Hadoop 并设置好相应的环境变量。Java 是运行 Hive 的基础，而 Hadoop 提供分布式存储和计算框架。 #### 下载并解压 Hive 访问官方下载页面获取最新稳定版本的 Hive 压缩包，并将其放置到服务器上的合适位置进行解压缩操作[^1]。 ```bash tar zxvf apache-hive-x.y.z-bin.tar.gz -C /opt/ cd /opt/apache-hive-x.y.z-bin ``` #### 配置环境变量编辑 `~/.bashrc` 或者 `/etc/profile.d/hive.sh` 文件来添加如下内容： ```bash export HIVE_HOME=/opt/apache-hive-x.y.z-bin export PATH=$PATH:$HIVE_HOME/bin ``` 使更改生效: ```bash source ~/.bashrc # or source /etc/profile.d/hive.sh depending on where you added the export commands. ``` #### 初始化 Metastore 数据库创建 MySQL 用户及数据库用于保存元数据信息；接着利用 schematool 工具完成建表动作。 ```sql CREATE DATABASE metastore; GRANT ALL PRIVILEGES ON metastore.* TO 'hiveuser'@'localhost' IDENTIFIED BY 'password'; FLUSH PRIVILEGES; schematool -dbType mysql -initSchema ``` #### 修改配置文件调整 hive-site.xml 来指定连接字符串和其他必要的参数。 ```xml <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://localhost/metastore?createDatabaseIfNotExist=true</value> </property> <property> <name>javax.jdo.option.ConnectionDriverName</name> <value>com.mysql.jdbc.Driver</value> </property> <property> <name>javax.jdo.option.ConnectionUserName</name> <value>hiveuser</value> </property> <property> <name>javax.jdo.option.ConnectionPassword</name> <value>password</value> </property> ``` --- ### 执行 Hive 脚本方法 #### 使用 `-f` 参数执行 SQL 文件当有一个预先编写好的 `.hql` 文件时，可以使用命令行工具中的 `-f` 参数直接加载该文件作为输入源。 ```bash hive -f /path/to/your_script.hql ``` 此方式适用于批量处理任务或自动化作业场景下的查询提交需求。 #### 利用 `-e` 参数即时执行单条或多条语句对于简单的测试或是临时性的数据分析请求，则可以直接通过 `-e` 后跟具体要执行的内容来进行交互式的查询活动。 ```bash hive -e "SELECT * FROM table LIMIT 10;" ``` 这种方式适合快速验证想法而不必事先准备单独的脚本文档[^3]。 #### 自动化与调度集成如果希望定期自动触发某些固定模式的任务流程（比如每日汇总报表），那么可以通过 Oozie 这样的工作流引擎实现更复杂的业务逻辑编排，包括但不限于 Shell、Pig、MapReduce 等不同类型的工作单元组合起来形成完整的 ETL 流程[^4]。