在xshell中执行hive sql 并将结果写入另一个txt文本中

最新推荐文章于 2024-10-27 23:06:49 发布

一只可爱的栗子

最新推荐文章于 2024-10-27 23:06:49 发布

阅读量5.1k

点赞数 1

CC 4.0 BY-SA版权

分类专栏： shell hive

本文链接：https://blog.youkuaiyun.com/weixin_38987362/article/details/80702776

shell 同时被 2 个专栏收录

10 篇文章

订阅专栏

hive

7 篇文章

订阅专栏

本文介绍如何在Xshell环境中执行SQL语句，并通过Beeline工具连接Hive进行数据查询，最后保存查询结果到指定文件。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在xshell 中进入文件夹：

vi test.sql

然后将要执行的sql输入，注意开头不能有空格

写完后按Esc键，输入：x保存并退出

输入下面代码：

/usr/bin/beeline -u "jdbc:hive2://dsrv1.heracles.sohuno.com:10000/mbadp;principal=hive/dsrv1.heracles.sohuno.com@HERACLES.SOHUNO.COM" --hiveconf mapreduce.job.queuename=sohumb -f test.sql > test.txt

将结果保存：

sz test.txt

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

一只可爱的栗子

关注关注

1
点赞
踩
4

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

使用shell脚本执行hive查询并将结果输出到本地文件

紫枫丶羽的博客

07-20

4229

简单实用的脚本分享。关于hive命令的3种调用方式: （1）hive –f file.sql（适合多语句）（2）hive-e 'sql语句'（适合短语句）（3）hive（直接使用hive交互式模式）方式一： 1.准备hive查询语句 //创建文本文件 touch read.sql //加入要执行的hive查询语句，例： show databases; show tables; use default; select * from test01; 2.执行并查看结果 ...

如何将Hive仓库中的查询结果导出到本地文件

宝罗Paul 的博客

08-06

4516

我在hive仓库中有个表，已经使用HQL跑出来结果，存到了hive中。表的schema如下 show create table test_xiaoxiannv.dw_clickadvert_daily; CREATE EXTERNAL TABLE test_xiaoxiannv.dw_clickadvert_daily( id int, ip string, time str...

参与评论您还未登录，请先登录后发表或查看评论

linux/xshell 下执行sql脚本

weixin_44407691的博客

11-14

1919

首要步骤(一般可省略): 开启mysql服务(默认是开机时就自动运行了): 控制面板–>管理工具–>服务,在里面找到名称为mysql的项,双击就可看它的服务状态是启动还是停止,把它设为启动连接mysql: 在命令行下输入 mysql -h localhost -u root -p回车,然后输入密码即可;或直接运行mysql自带的连接工具,然后输入密码即可. 1.编写sql脚本,假设内...

hive导入txt文件

song_quan_的博客

12-07

5487

1、将txt文本文件放置hdfs目录下 2、登录hive并进入到指定数据库 3、创建表 create external table if not exists fun_user_external ( tid INT, userid STRING, pwd STRING, create_time BIGINT, email STRING ... ) ROW FORMAT DELIMITED FIELDS TERMINATED BY '`' STO

shell脚本——sql连接及其查询结果重定向到txt

看表该写博客了

07-13

1126

记录第一次写linux系统上的shell脚本一.shell实现的任务： 1.将内存使用情况与磁盘使用情况重定向到txt文件 2.将sql查询的昨日统计数据重定向到txt文件 URL=127.0.0.1 PORT=3306 USERNAME=”admin” PASSWORD=”admin” DBNAME=”bills” TABLENAME=”order” #昨天日期 DATE=`date+”%Y-%m-%d” –d “-24hour”` SQL=”select DATE_FORMAT{pay_ti

python程序访问hive仓库，并将读取的数据写入文本

Solar's Blog

06-27

3777

python程序访问hive仓库，并将读取的数据写入文本

【Hive总结一入门及安装部署】

Tonystark_lz的博客

09-06

987

Hive入门 Hive搭建 Hive的安装部署

大数据技术之Hive

最新发布

小菜菜的博客

10-27

1259

声明：原文来自于《尚硅谷》免费学习资料文章仅供学习，如需详细了解请光顾《尚硅谷》官网

Hive DDL操作命令实验

qq_35447918的博客

09-06

2524

1 查看Hive中现有的所有数据库 hive> show databases; OK default 说明：当前Hive中只有一个默认数据库defalut 2 查看当前数据库中的数据表hive> show tables; OK student 说明：数据库default就是默认的当前数据库 3 创建数据库 1）创建一个新的数据库sogou hive> create database sogou; OK 2）再次查看Hive中现有的所有数据库 hive> show datab

如何将txt文件导入hive

飛燚非燚的博客

04-02

1545

1.需要导入的EXCEL文件，去掉表头2.把EXCEL文件另存为txt文件3.把txt文件转的编码换成UTF-8-BOM，否则中文会乱码4.txt文件导入到hive相关的服务器上，比如上传到路径：/tmp/file/

hive高级应用之调用 sql脚本并将结果存入到文件中

csdn_yan_的博客

04-25

3648

hive -f /xxx/xxx/xx.sql ./result.txt多话不说，直接进入主题，示例入下:结果：

两种方式（Java远程连接、本地shell脚本）遍历加载HDFS一个目录下的多个数据文件到hive表

大数据流浪法师的学习笔记与分享

12-25

1050

现有如下，一堆数据文件，以日期命名，因为需要按分区加载到一个分区表中。如果手动加载，会浪费很多时间，所以有两种方式实现自动遍历并加载到hive表。第一种：JAVA代码连接hdfs，读取每一个数据，远程执行hive -e，这样会浪费大量的中间过程。 package com.czxy.demo05; import net.neoremind.sshxcute.core.ConnBean; i...

shell中循环调用hive sql 脚本

热门推荐

dear_csdn的博客

04-06

1万+

脚本tt.sh的内容如下： #!/bin/bash params=$1 for param in $params do echo $param done #运行方式为： sh tt.sh "1 2 3 4 5" #输出为： 1 2 3 4 5 -----------------------------------------------------------...

xshell编写文件_xshell编程小结

weixin_39538693的博客

01-30

941

初步学完shell脚本编程，通过这篇博客对其小结一下shell定义：shell其实是一个命令解释器，它的作用是解释用户输入的命令和程序shell脚本:我们可以在文本中输入一系列的命令、控制语句和变量，这一切有机的结合起来就形成了功能强大的shell脚本。一.基础语法1.查看系统脚本解释器常用的是bash解释器2.使用bash解释器执行脚本的三种方式：bash xx.shsh xx.sh./xx.s...

shell脚本运行hive -f "XXX.sql" 保存全部运行日志到指定文件

lukabruce的博客

08-29

2351

#!bin/sh source ~/.bash_profile SQL_PATH=/home/hadoop/SQL_FILE LOG_DIR=/home/hadoop/SQL_EXE_LOG_FILE #最关键的地方就是 ' >& ' hive -f $SQL_PATH/aaa.sql >& $LOG_DIR/aaa.log exit; ...

hive数据的导入导出

qq_43759478的博客

07-06

2798

1. TextFile：使用TextFile格式存储的表将数据以文本文件的形式进行存储。这是最常用的默认存储格式。2. SequenceFile：使用SequenceFile格式存储的表将数据以键-值对的形式存储，适用于数据压缩和高效读取。3. ORC（Optimized Row Columnar）：ORC是Hive的一种高性能列式存储格式，它以列的方式组织数据，提供了更高的压缩率和查询性能。4. Parquet：Parquet是一种列式存储格式，也是Hive的一个常用选项。

将hive查询内容存储到文件中

miahhrgbfcyur的博客

07-08

648

首先先写一个shell脚本： hql=" " hive -e "$hql" >> 文件名如果要输出表头：再加入config config=" set hive.cli.print.header=true; " hql=" $config " hive -e "$hql" >> 文件名

【xshell】写入脚本/编辑/写入退出/查看

数据打工人的博客

05-27

999

–写入脚本 vi xx.sql –编辑 i 把写好的逻辑粘贴过来 –写入退出按esc :wq –退出：q

beeline 将查询的数据导出来_几种保存Hive查询结果的方法

weixin_39702649的博客

01-17

3404

可以根据导出的地方不一样，将这些方式分为三种：1.导出到本地文件系统；2.导出到HDFS中；3.导出到Hive的另一个表中一、保存结果到本地方法1：调用hive标准输出，将查询结果写到指定的文件中这个方法最为常见,sql的查询结果将直接保存到/tmp/out.txt中$ hive -e "select user, login_timestamp from user_login" > /tmp...

Xshell6中文无限期版下载与安装指南

5. Xshell6_wm_6.0.0204版本信息：所给的文件列表中的“Xshell6_wm_6.0.0204.exe”表明这是一个名为Xshell6_wm，版本号为6.0.0204的安装文件。这个文件名可能代表了一个特定的版本或者是一个特定的安装包，例如可能...