hadoop遇到的问题

最新推荐文章于 2023-10-15 19:28:50 发布

郝文龙

最新推荐文章于 2023-10-15 19:28:50 发布

阅读量473

点赞数

CC 4.0 BY-SA版权

分类专栏： hadoop 文章标签： hadoop

本文链接：https://blog.youkuaiyun.com/a639735331/article/details/79238649

hadoop 专栏收录该内容

17 篇文章

订阅专栏

问题1:dataNode或者nameNode 没有启动

解决:

可以删除hadoop临时目录,

重新格式化hadoop :hdfs namenode -format

重启hadoop

问题2:

WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable

在/etc/profile中，添加下面配置：

export  HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export  HADOOP_HOME=/root/training/hadoop-2.4.1
export  HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib:$HADOOP_COMMON_LIB_NATIVE_DIR"

最后记得使配置生效：source /etc/profile

并把相同配置添加到hadoop-env.sh文件末尾。

输入如下命令，没有报warn，说明修改成功。

这里写图片描述

参考博客 : http://blog.youkuaiyun.com/young_kim1/article/details/50324345

问题3: 进行 wordcount计算时提示无法连接服务器

解决: yarn-site.xml 添加如下信息

<property>
<name>yarn.resourcemanager.address</name>
<value>127.0.0.1:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>127.0.0.1:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>127.0.0.1:8031</value>
</property>