hadoop一些问题与解法

最新推荐文章于 2023-04-24 09:33:39 发布

原创最新推荐文章于 2023-04-24 09:33:39 发布 · 175 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop

hadoop 专栏收录该内容

2 篇文章

订阅专栏

本文详细介绍了在使用Hadoop时遇到的Namenode安全模式异常问题，提供了两种有效的解决方案：一是调整dfs.safemode.threshold.pct参数值，二是使用hadoop dfsadmin -safemode leave命令强制退出安全模式。同时，针对错误'找不到或无法加载主类com.sun.tools.javac.Main'，给出了在Windows和Linux环境下设置HADOOP_CLASSPATH环境变量的方法。

（1）

org.apache.hadoop.hdfs.server.namenode.SafeModeException: 
Cannot create directory /user/slave2/QuasiMonteCarlo_1557973932266_237349357/in. 
Name node is in safe mode.

有两个方法离开这种安全模式

修改dfs.safemode.threshold.pct为一个比较小的值，缺省是0.999。
hadoop dfsadmin -safemode leave命令强制离开
http://bbs.hadoopor.com/viewthread.php?tid=61&extra=page%3D1

（2）

错误: 找不到或无法加载主类 com.sun.tools.javac.Main

1、windows上，在hadoop-env.cmd中添加"set HADOOP_CLASSPATH=%JAVA_HOME%\lib\tools.jar"（亲测通过,jdk1.8)
2、linux上，在hadoop-env.sh上添加"export HADOOP_CLASSPATH=$JAVA_HOME/lib/tools.jar"（没测试过）