HadOOP部署和调试遇到的一些问题 V1.0.2

最新推荐文章于 2022-10-10 10:16:17 发布

原创最新推荐文章于 2022-10-10 10:16:17 发布 · 296 阅读

0 ·

CC 4.0 BY-SA版权

all 专栏收录该内容

204 篇文章

订阅专栏

本文讨论了在使用HDFS和Hadoop时遇到的问题，包括使用JAVAAPI存入文件时报错以及强制关机或killhadoop进程后报错。通过在hadoop-env.sh中添加配置来解决IPv6导致的连接问题，并提供了关闭安全模式的方法。

1.使用HDFS，用JAVA API存入文件时报错


Exception in thread "main" java.net.ConnectException: Call to IP:9000 failed on connection exception: java.net.ConnectException: Connection refused: no further information

通过命令 lsof -i :9000
发现如果系统支持IPv6的话， Hadoop会自动使用IPv6，破解：
在hadoop-env.sh下添加下一句：

HADOOP_OPTS=-Djava.net.preferIPv4Stack=true

2.强制关机或者kill hadoop进程后报错


Exception in thread "main" org.apache.hadoop.ipc.RemoteException: org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot create file/usr/local/test. Name node is in safe mode.

强关后需要关闭安全模式:

引用

bin/hadoop dfsadmin -safemode leave #关闭safe mode