如何在hive的shell中使用hadoop shell 和linux的命令

最新推荐文章于 2023-03-08 11:41:19 发布
最新推荐文章于 2023-03-08 11:41:19 发布
阅读量4.3k 收藏 2
点赞数 3
CC 4.0 BY-SA版权
分类专栏： Hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/lumenxu/article/details/50913910
本文介绍了在Hive中使用Linux命令、Hadoop shell以及执行HQL的方法。包括如何通过Hive直接调用Linux命令查看当前工作目录，如何使用Hadoop shell列出HDFS根目录下的文件，以及如何通过hive-e、hive-S和hive-f参数来执行单或多条HQL语句。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1 使用linux 命令

hive> !pwd;  #前面加上一个！后面加上；

2 使用hadoop shell

hive>fs -ls /  #省去前面的hadoop 后面加上；

3 hive -e  可以执行多条Hql ,中间使用；隔开

   hive -S 采用静默的方式执行Hql 结果集不会打印到控制台上，而是会输出到标准输出当中，可以使用 | 将结果集重定向到指定的文件当中。

  hive  -f  可以执行一个写了多条hql 的可执行文件。

【大数据入门核心技术-Hive】（十七）常用hive shell命令汇总
10-12 292
2、2、set -v 打印所有hadoop和hive配置变量。重置配置到默认hive-site.xml配置。执行linux shell命令。执行hdfs dfs 命令。二、常用实用hive语句。a、先插入初始化测试数据。a、先插入初始化测试数据。set -v 打印所有hadoop和hive配置变量。重置配置到默认hive-site.xml配置。执行linux shell命令。执行hdfs dfs 命令。二、常用实用hive语句。a、先插入初始化测试数据。a、先插入初始化测试数据。
hadoop搭建好Hive-命令使用
weixin_56749456的博客
12-04 246
在搭建好hive后，我们接下来看看hive的使用。 一、连接hive，查看现有多少个数据库； show databasese； 以上可以看出我有3个数据库； 二、创建数据库；数据库会以文件夹.db的形式存在hdfs里； create database tb202; 三、创建表；表会文件夹的形式存在； 前提是要先使用你创建的数据库。 create table put_class(id string,amount float); 四、在表里插入数据，可以看见会自动...
hive链接mysql的shell命令_shell/hadoop/hive一些有用命令收集
weixin_35850669的博客
02-23 158
有些命令工作中经常用到，记录在一个文章里用于查阅，本文经常更新。 shell命令 linux统计某个目录下所有文件的行数的命令 find /home/crazyant -type f -name "*" | xargs cat | wc -l 用find查找crazyant目录下所有文本文件的行数之和。不过该命令执行挺慢有些命令工作中经常用到，记录在一个文章里用于查阅，本文经常更新。shell命令...
hive的基本操作
Dream__Sky_的博客
04-05 421
1.描述hive的表对应着hdfs的目录/文件夹hive的数据对应hdfs的文件如果是分区表，则分区值是子文件夹全表扫描，读取多少条不会执行mr任务 : select * from 表名 hive将元数据存在数据库中，目前只支持mysql,derby显示数据库：show databases 默认的为: default库查看当前数据库的有哪些表：show tableshive仓库数据的存放目录：/u...
hive、hadoop常用命令
weixin_42650894的博客
09-30 1101
文章目录hive、hadoop使用hive常用命令进入hive、执行hive命令查看表结构创建表建表语句内表、外表(EXTERNAL)：分区(PARTITIONED)：行分割符(ROW FORMAT DELIMITED FIELDS TERMINATED BY)数据格式存储位置(LOCATION)建临时表删除表仅删除表中数据，保留表结构(truncate)删除表结构(drop)删除某个分区的数据分区添加分区删除分区修改表名修改表字段名内、外表转化内部表转外部表外部表转内部表加载数据落入文件数据(给产品传表常
Linux 中的 Hive 安装及常用操作
m0_61802901的博客
03-08 1051
随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。以上就是今天要讲的内容，本文仅仅简单介绍了Hive的使用，而Hive提供了大量能使我们快捷的对数据仓库统计分析。
hive-shell批量命令执行脚本的实现方法
09-15
本文将详细讲解如何使用Hive与Shell结合，实现批量执行Hive命令的脚本，这对于数据处理和ETL（提取、转换、加载）流程来说是极其有用的。 首先，我们需要设置Hadoop和Hive的环境变量。在上述脚本中，`HADOOP_HOME` ...
使用shell脚本执行hive、sqoop命令的方法
09-15
Shell脚本是基于Unix/Linux操作系统的一种编程方式，它可以通过一系列的命令和逻辑控制结构来完成复杂的任务自动化。在大数据处理中，Shell脚本被广泛应用于批处理任务的调度、数据处理任务的执行等方面。 #### ...
在Shell中实现循环调用Hive SQL脚本的方法
最新发布
07-08
在 IT 领域，尤其是涉及大数据处理和自动化任务执行时，Shell 脚本与 Hive SQL 的结合应用十分广泛。本文将深入探讨如何在 Shell 脚本中循环调用 Hive SQL 语句，以实现数据的批量处理或一系列相关查询操作的自动化...
Hadoop shell常用命令
10-22
该文档记录了在linux的shell环境下执行的hadoop的相关操作命令，包括多hafs文件的相关操作
Hive访问方式
moneycrazy的博客
10-29 5510
Hive的访问方式主要分为两种，一种是本地模式，通常用于单机测试，另一种是远程连接模式，比较常用。 本文前提： 1.本文使用的软件版本为： hadoop2.7.4 hive1.2.1 jdk1.8 2.运行hive之前保证jdk与hadoop配置完毕，并且启动HDFS和Yarn。 1.本地模式 在hive安装路径bin目录下，直接运行hive脚本，即可进入本地模式，如下图所示： ...
linux中hive安装和部署详解
热门推荐
if(true){ I love it }
05-25 2万+
一.前期准备 1.1 hadoop 版本：Hadoop 2.6.5 安装：http://blog.youkuaiyun.com/a123demi/article/details/70652959 1.2 mysql 版本：5.6.33 MySQL Community Server (GPL) 1.3 mysql驱动包 版本：mysql-connector-java-5.1.40-bin.jar 1.4 hive安装包 官网下载：apache-hive-2.1.1-bin.tar.gz 二.hive安装 2
Hive基本shell操作
aryoyo的博客
07-08 2379
用户手册：https://cwiki.apache.org/confluence/display/Hive/Home#Home-UserDocumentation 1> java客户端操作hive需要启动hive远程服务：hiveserver2 https://cwiki.apache.org/confluence/display/Hive/Setting+Up+HiveServer2 $...
如何用shell调用hive
十色花的博客
07-11 5893
#!/bin/sh #参数传递 source /etc/profile; source ~/.bash_profile; BASEDIR=`dirname $0` cd $BASEDIR #classpath优先当前目录 CLASSPATH=$BASEDIR #classpath其次是config目录 #classpath再次是lib目录下面的...
hadoop生态一键启动shell脚本
Juuunn的博客
08-20 573
同步执行命令脚本xcall 在一个节点上输入命令可以同步到其余节点执行 脚本目录：/use/local/bin/ 进入/use/local/bin/目录 vim一个xcall.sh的文件 cd /use/local/ vim xcall.sh 插入以下代码 #!/bin/sh pcount=$# if((pcount==0));then echo no args...; exit; fi echo ==================masternode========
1 hive变量调用几种方式
后知后觉的it路
03-14 688
   参考链接  http://www.crazyant.net/1451.html   疯狂蚂蚁   目前  hive需要的外部参数完全可以通过 将hive脚本写在 xxx.sh中 利用sh的变量来获取 这是目前工作中最常用方式。       1 hive使用外部变量： 分为4种情况，   hive中引用外部变量： 在代码中引用时使用${...}; 方式1： [...
linux命令显示hadoop hive地址
an74520的专栏
11-26 1224
执行命令 hadoop fs -ls /user/hive 执行效果
在shell脚本中如何调用hadoop 命令
龍 博客
11-01 7140
我们在shell脚本中可能会用到hadoop或者其他命令，而这些命令可能是一个整体，如果我们只是简单的写入到shell脚本中，可能会被分解成其他的各个子字段，即有可能会分成两部分去执行，这样就会导致命令执行失败。 hadoop fs -get /XXXXXX 上面这个就会分成hadoop fs 和get两部分这样就执行不成功了 所以在shell脚本中应该用反引号“括起来，注意这个事反引号不
掌握Hive-shell使用技巧与Hadoop、Snapshot集成
在Hive-shell中使用Hadoop技术时，用户可以通过Hive的命令行界面操作Hadoop集群。Hive-shell是Hive自带的一个交互式命令行工具，用户可以通过它来执行HiveQL语句，从而实现对存储在HDFS中的数据的查询和分析。这意味...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值