大数据学习----- Hadoop、Spark、HBase、Hive搭建环境遇到的错误以及解决方法

本文链接：https://blog.youkuaiyun.com/h471507602/article/details/103578475

这篇博客记录了在搭建大数据Hadoop、Spark、HBase、Hive环境时遇到的各种错误，包括Hadoop的FATAL conf.Configuration错误、启动失败问题，Spark SQL的JDOFatalInternalException，HBase启动错误，以及Hive的SessionHiveMetaStoreClient实例化错误等。作者提供了详细的错误原因分析和解决办法，适合初学者参考。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

前言

在搭建大数据Hadoop相关的环境时候，遇到很多了很多错误。我是个喜欢做笔记的人，这些错误基本都记载，并且将解决办法也写上了。因此写成博客，希望能够帮助那些搭建大数据环境的人解决问题。

说明: 遇到的问题以及相应的解决办法是对于个人当时的环境，具体因人而异。如果碰到同样的问题，本博客的方法无法解决您的问题，请先检查环境配置问题。

Hadoop伪分布式相关的问题

1，FATAL conf.Configuration: error parsing conf hdfs-site.xml

原因: 字符编码问题。
解决办法: 统一编码，将文件打开，另存为统一编码，如UTF-8 即可。

2，Use of this script to execute hdfs command is deprecated。

原因:hadoop版本问题，命令过时。
解决办法: 将hadoop命令改成hdfs。

3，org.apache.hadoop.hdfs.server.namenode.NameNode。

原因:没有指定路径
解决办法:修改hadoop-env.sh文件。安装的hadoop路径是“/usr/local/hadoop/hadoop-2.8.2”，在此路径下执行 vim etc/hadoop/hadoop-env.sh 在文件最后面添加 export HADOOP_PREFIX=/usr/local/hadoop/hadoop-2.8.2 ，并保存。

Hadoop相关的错误

1，启动hadoop时候报错：localhost: ssh: Could not resolve hostname localhost: Temporary failure in name resolution”

原因: hadoop的环境没有配置好，或者没有使配置生效。
解决办法: 如果没有配置Hadoop的环境变量，就填加配置。

例如:

export JAVA_HOME=/opt/java/jdk
export HADOOP_HOME=/opt/hadoop/hadoop2.8 
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin

然后使配置文件生效
输入:

 source /etc/profile

2，mkdir: `/user/hive/warehouse': No such file or directory

原因: 使用hadoop新建目录的时候报错，命名格式有问题
解决办法: 输入正确的命令格式
例如:

$HADOOP_HOME/bin/hadoop fs -mkdir -p /user/hive/warehouse

3，bash:...： is a directory

原因:可能是/etc/profile 配置未能成功配置
解决办法: 确认配置文件没有问题之后，发现环境变量后面多了空格，将环境变量后面的空格去掉之后就好了。

4，Hadoop警告:Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

原因:Apache提供的hadoop本地库