1. 前期安装Hadoop集群,确保HDFS和YARN服务正常运行。
确保 Hadoop 集群正常运行:
启动 Hadoop 集群所有节点上的 HDFS 和 YARN 服务。
格式化HDFS(如果您是第一次启动Hadoop集群或者在更改配置后需要重新格式化):
hdfs namenode -format
然后,启动HDFS服务:
start-dfs.sh
2. 启动YARN服务
启动YARN服务:
start-yarn.sh
启动服务后,您可以使用以下命令来验证HDFS和YARN服务的状态:
对于HDFS:
hdfs dfsadmin -report
对于YARN:
yarn node -list
或者使用jps命令查看Java进程,确认NameNode、DataNode、ResourceManager和NodeManager是否都在运行:
jps
配置 Hadoop 环境变量:
编辑 /etc/profile 文件,添加以下内容:
export HADOOP_HOME=/export/servers/hadoop-3.3.1
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
2.下载并安装Hive,配置Hive的环境变量。
上传Hive的压缩包
使用 Xftp 将 apache-hive-3.1.1-bin.tar.gz 上传到服务器。P1
解压文件:
tar -zxvf /root/apache-hive-3.1.1-bin.tar.gz -C /exporrt/servers/
cd /exporrt/servers/
重命名 Hive 目录:
mv apache-hive-3.1.1-bin hive-3.1.1
同步 jar 包:
将 Hadoop 中的 guava-27.0-jre.jar 替换 Hive 中的 guava-19.0.jar: