我在完成Linux中的
hive的
安装与
配置
请帮我根据文档要求完成操作，以下是我的虚拟机信息.
虚拟机版本:CentOS7
用户名为:root
虚拟机master IP为192.168.128.130
hive路径: /export/
server/apache
-hive-4.0.0
-bin.tar.gz
mysql路径: /export/
server/mysql
-5.7.43
-linux
-glibc2.12
-x86_64.tar.gz
目前我在master虚拟机,当前所在路径:/root
所有操作均在root下完成请给我最详细的操作步骤,我要现成的代码,包括
配置文件路径vi /........等等,务必详细,谢谢
一、设置内嵌Derby
模式
# 上传解压
安装包
cd /export/
server/
tar zxvf apache
-hive-3.1.2
-bin.tar.gz
mv apache
-hive-3.1.2
-bin
hive
#解决 hadoop、
hive 之间 guava 版本差异
cd /export/
server/
hive
rm
-rf lib/guava
-19.0.jar
cp /export/
server/hadoop
-3.1.4/share/hadoop/common/lib/guava
-27.0
-jre.jar ./lib/
#修改
hive 环境变量文件 添加 Hadoop_HOME
cd /export/
server/
hive/conf/
mv
hive-env.sh.template
hive-env.sh
vim
hive-env.sh
export HADOOP_HOME=/export/
server/hadoop
export
HIVE_CONF_DIR=/export/
server/
hive/conf
export
HIVE_AUX_JARS_PATH=/export/
server/
hive/lib
#初始化 metadata
cd /export/
server/
hive
bin/schematool
-dbType derby
-initSchema
#启动
hive 服务
bin/
hive
二、设置直连数据库
模式
略
三、设置
远程服务器
模式
1.
安装MySQL
2.
hive的
安装
# 上传解压
安装包
cd /export/
server/
tar zxvf apache
-hive-3.1.2
-bin.tar.gz
mv apache
-hive-3.1.2
-bin
hive
#解决 hadoop、
hive 之间 guava 版本差异
cd /export/
server/
hive
rm
-rf lib/guava
-19.0.jar
cp /export/
server/hadoop
-3.1.4/share/hadoop/common/lib/guava
-27.0
-jre.jar ./lib/
#添加 mysql jdbc 驱动到
hive 安装包 lib/文件下
mysql
-connector
-java
-5.1.32.jar
#修改
hive 环境变量文件 添加 Hadoop_HOME
cd /export/
server/
hive/conf/
mv
hive-env.sh.template
hive-env.sh
vim
hive-env.sh
export HADOOP_HOME=/export/
server/hadoop
export
HIVE_CONF_DIR=/export/
server/
hive/conf
export
HIVE_AUX_JARS_PATH=/export/
server/
hive/lib
#新增
hive-site.xml
配置 mysql 等相关信息
vim
hive-site.xml
#初始化 metadata
cd /export/
server/
hive
bin/schematool
-initSchema
-dbType mysql
-verbos
#初始化成功会在 mysql 中创建 74 张表
3.
hive-site.xml
配置 mysql 等相关信息
<configuration>
<!
-- 存储元数据 mysql 相关
配置 -->
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>
jdbc:mysql://Master:3306/
hive?createDatabaseIfNotExist=true&useSSL=false&useUnicode=true&characterEncoding=UTF
-8</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>123456</value>
</property>
<!
-- H2S 运行绑定 host
-->
<property>
<name>
hive.
server2.thrift.bind.host</name>
<value>Master</value>
</property>
<!
-- 远程模式部署 metastore 服务地址
-->
<property>
<name>
hive.metastore.uris</name>
<value>thrift://Master:9083</value>
</property>
<!
-- 关闭元数据存储授权
-->
<property>
<name>
hive.metastore.event.db.notification.api.auth</name>
<value>false</value>
</property>
<!
-- 关闭元数据存储版本的验证
-->
<property>
<name>
hive.metastore.schema.verification</name>
<value>false</value>
</property>
</configuration>
4.初始化 metadata
cd /export/
server/
hive
bin/schematool
-initSchema
-dbType mysql
-verbos
若格式化失败
Hive 重新格式化
1. 删除用户目录：首先，需要删除用户目录中的所有内容。hdfs dfs
-rm
-r /user/
2. 删除
Hive 数据库：接下来，删除
Hive 格式化过程中创建的
Hive 数据库。 mysql> drop
database
hive;
3. 重新格式化：最后，使用 schematool 命令重新初始化
Hive 的元数据。
5.
远程模式 Metastore 服务手动启动
前台启动 关闭 ctrl+c
/export/
server/
hive/bin/
hive --service metastore
#后台启动 进程挂起 关闭使用 jps + kill
#输入命令回车执行 再次回车 进程将挂起后台
nohup /export/
server/
hive/bin/
hive --service metastore &
#前台启动开启 debug 日志
/export/
server/
hive/bin/
hive --service metastore
--hiveconf
hive.root.logger=DEBUG,console
6.
Hive Client 使用
/export/
server/
hive/bin/
hive
7.其他机器上通过 bin/
hive 访问
hive metastore 服务
如果需要在其他机器上通过 bin/
hive 访问
hive metastore 服务，只需要在
该机器的
hive-site.xml
配置中添加 metastore 服务地址即可。
#前提步骤 将
hive安装包发送各节点，并
配置环境变量
scp
-r /export/
server/
hive slave1:/export/
server
scp
-r /export/
server/
hive slave2:/export/
server
#将环境变量发送到slave1、slave2，去对应节点source /etc/profile
scp
-r /etc/profile slave2:/etc
scp
-r /etc/profile slave3:/etc
修改salve1和slave2的
配置文件
<configuration>
<property>
<name>
hive.metastore.uris</name>
<value>thrift://Master:9083</value>
</property>
</configuration>
测试是否能够访问
cd …/
/export/
server/
hive/bin/
hive
show databases
博客记录了查阅资料时找到的讲解较好的博客截图，目的是作为备忘录使用。
扫一扫
2459
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
