安装HIVE
下载Hive 3.1.2 (这里是我已经下载好的,直接用WinSCP传输就好)
解压到:/opt/apps目录并改名:hive
遗漏的命令语句是解压:tar -zxvf 包名
编辑:/etc/profile 并source生效 (目的是添加hive的环境变量)
进入hive的conf目录
重要文件的备份
cp hive-default.xml.template hive-site.xml
编辑hive-site.xml ,增加内容(这里要注意主机名和mysql相关用户和密码)
在hive-site.xml中查找修改
将hive-site.xml复制到spark的conf目录下
tmp目录 (在hive下创建tmp目录)
cd /opt/apps/hive
mkdir tmp
添加mysql包
(将mysql-connector-java-8.0.17.jar 放入hive的lib目录)
启动hadoop,并初始化
启动Hive服务 (注意hive服务不能关)
Hive的应用
在hadoop下创建目录hive_data 并将students.txt 上传到hive_data
进入Hive,Hive的操作
特别注意
Hive如果涉及到group by等聚合操作,需要reducer,这时要启动yarn
解决办法
重新进入Hive,再操作一次就可以了。
Spark读写Hive
需要事先启动yarn,hdfs,spark和hive服务
读写hive数据
编写程序
运行程序,显示结果
使用Spark SQL读写Hive
编写程序
运行程序,显示结果