Mr_JWYang

最近遇到一个用到HDFS的项目，于是在测试环境安装了一套HDFS。在测试HA的故障转移的功能时发现namenode无法故障转移，经过一番认证排查发现是由于修改了SSH默认端口导致的。于是乎就去翻官方文档，翻啊翻，终于看到这么一段话，如下：Optionally, one may configure a non-standard username or port to perform the SSH. One may also configure a timeout, in milliseconds,

Running step 1 of 1... packageJobJar: [/tmp/hadoop-unjar6848459156223719147/] [] /tmp/streamjob1203525417845159775.jar tmpDir=null Connecting to ResourceManager at /0.0.0.0:8032 Connecting to R...

启动Hadoop后使用jps查看如下/usr/local/soft/hadoop-2.6.5/sbin/start-all.shThis script is Deprecated. Instead use start-dfs.sh and start-yarn.shStarting namenodes on [localhost]localhost: starting namenode...

使用Python的MrJob写了MapReduce任务后，运行MapReduce任务的时候报错如下：经过排查发现，这是由于hadoop刚刚启动，还处于安全模式下，因此执行MapReduce任务会报错，等待一会，待hadoop安全正常的启动后，再执行同样的任务，就正常了。如果还是报同样的错误，那么你可以离开安全模式，操作方法如下：bin/hadoop dfsadmin -safemode lea...