Hive数据仓库搭建与使用

1. 前期安装Hadoop集群,确保HDFS和YARN服务正常运行。

确保 Hadoop 集群正常运行:

启动 Hadoop 集群所有节点上的 HDFS 和 YARN 服务。

格式化HDFS(如果您是第一次启动Hadoop集群或者在更改配置后需要重新格式化):

hdfs namenode -format

然后,启动HDFS服务:

start-dfs.sh

2. 启动YARN服务

启动YARN服务:

start-yarn.sh

启动服务后,您可以使用以下命令来验证HDFS和YARN服务的状态:

对于HDFS:

hdfs dfsadmin -report

对于YARN:

yarn node -list

或者使用jps命令查看Java进程,确认NameNode、DataNode、ResourceManager和NodeManager是否都在运行:

jps

配置 Hadoop 环境变量:

编辑 /etc/profile 文件,添加以下内容:

export HADOOP_HOME=/export/servers/hadoop-3.3.1

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

2.下载并安装Hive,配置Hive的环境变量。

上传Hive的压缩包

使用 Xftp 将 apache-hive-3.1.1-bin.tar.gz 上传到服务器。P1

解压文件:

tar -zxvf /root/apache-hive-3.1.1-bin.tar.gz -C /exporrt/servers/

cd /exporrt/servers/

重命名 Hive 目录:

mv apache-hive-3.1.1-bin hive-3.1.1

同步 jar 包:

将 Hadoop 中的 guava-27.0-jre.jar 替换 Hive 中的 guava-19.0.jar:

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值