[hadoop分布式]常见问题汇总（持续更新中）

最近一段时间在学习hadoop体系下的HBASE与SPARK，在安装过程中遇到了很多问题，通过网上的求助和周围同学的帮忙成功解决了一些。
这些问题和回答不能涵盖所有的情况，只包括了我暂时遇到的一些问题和我自己最终的解决方法。
之后遇到新的问题，我会及时记录，如果解决，会在这个文章下进行更新。

问题一：
在安装完hadoop后启动dfs失败，并出现“bash: start-dfs.sh: command not found…”的错误提示
解决方法：
查看/etc/profile中的HADOOP_HOME的地址是否是hadoop根目录，检查PATH是否错误

问题二：
安装完hbase后可以启动dfs，但无法启动hbase的namenode
解决方法:
1.查看你$HADOOP_HOME/etc/hadoop/core-site.xml下的fs.defaultFS
2.查看你$HBASE_HOME/conf/hbase-site.xml下的hbase.rootdir是不是和上述fs.defaultFS相同
注意：这里不是完全相同,hbase.rootdir一般是fs.defaultFS后面加/hbase

问题三：
安装完hadoop后，网络可以ping通，但无法进入localhost:50070的hadoop首页
解决方法
查看你的$HADOOP_HOME/etc/hadoop/core-site.xml下的fs.defaultFS是否与/etc/hosts下的主机号相同

问题四：
启动hbase输出ignoring option PermSize=128m; support was removed in 8.0告警信息
解决方法
进入hbase/conf/hbase-env.sh找到以下信息

#Configure PermSize. Only needed in JDK7. You can safely remove it for JDK8+
export HBASE_MASTER_OPTS="$HBASE_MASTER_OPTS -XX:PermSize=128m -XX:MaxPermSize=128m"
export HBASE_REGIONSERVER_OPTS="$HBASE_REGIONSERVER_OPTS -XX:PermSize=128m -XX:MaxPermSize=128m"

然后注释掉两个export后可解决

问题五：
运行spark，使用sc指令错误
解决方法：
进入${spark_home}/conf/spark-env.sh
添加export SPARK_LOCAL_IP="192.168.154.201"这里是你这台虚拟机的ip
保存再次运行，出现

Spark context Web UI available at http://192.168.154.201:4040
Spark context available as 'sc' (master = local[*], app id = local-1561825868716).
Spark session available as 'spark'.

再次使用sc正常
后续问题：在bin/spark-shell命令后加 --master spark://master:7077参数后又不能使用sc
解决方法：–master后加的是yarn-cluster,如果是本地则应该改成对应的主机名localhost:7077我这里是hserver1:7077

问题六
WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable
解决方法
网上一种说法是

在文件hadoop-env.sh中增加：
export HADOOP_OPTS="-Djava.library.path=${HADOOP_HOME}/lib/native"  

我的机子试了一下并没有起作用
另外一种说是glibc版本太低，需要更新，具体参考解决方法二
不过貌似版本问题不会产生大影响，暂时没有更改