在虚拟机里怎么安装Hive?Hive与SQL的交互应用

本文详细指导如何安装Hive3.1.2,包括解压、配置环境变量、编辑hive-site.xml,以及与Spark、Hadoop集成,特别强调了groupby操作时的注意事项和SparkSQL的使用。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

安装HIVE

下载Hive 3.1.2 (这里是我已经下载好的,直接用WinSCP传输就好)

解压到:/opt/apps目录并改名:hive

遗漏的命令语句是解压:tar -zxvf 包名 

编辑:/etc/profile 并source生效  (目的是添加hive的环境变量)

进入hive的conf目录

重要文件的备份

cp hive-default.xml.template hive-site.xml

编辑hive-site.xml ,增加内容(这里要注意主机名和mysql相关用户和密码)

在hive-site.xml中查找修改

将hive-site.xml复制到spark的conf目录下

tmp目录 (在hive下创建tmp目录)

cd /opt/apps/hive

mkdir tmp

添加mysql包

(将mysql-connector-java-8.0.17.jar 放入hive的lib目录)

启动hadoop,并初始化

启动Hive服务 (注意hive服务不能关)

Hive的应用

在hadoop下创建目录hive_data 并将students.txt 上传到hive_data

进入Hive,Hive的操作

特别注意

Hive如果涉及到group by等聚合操作,需要reducer,这时要启动yarn

解决办法

重新进入Hive,再操作一次就可以了。

Spark读写Hive

需要事先启动yarn,hdfs,spark和hive服务

读写hive数据

编写程序

运行程序,显示结果

使用Spark SQL读写Hive

编写程序

运行程序,显示结果

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值