时不时,livenode 就没了。。。。。这里记录了所有出现的情况以及解决方法
解决方法五花八门,我把我所有碰到的情况记录一下。
网上查到的方法,都解决不了
环境: master,data1,data2,两个data node
livenode 为 0/1:一个data node 都没有, JPS下没有datanode进程, 或者master有datanode
ssh正常,log里没有无法通信的错误, 但是livenode只有一个, 而且datanode存在与master下。
查看document后发现, 在
hadoop/etc/hadoop 下有一个workers文件(2.*下没有),需要修改他加入所有的node节点, 在2.x下 是需要手动生成slave文件, 打开workers文件,里面只有localhost,所以master下会有datanode, 删掉localhost,添加所有节点,问题解决.
livenode 为0: 每一个data node服务器下都没有 datanode
之前修改了hadoop的参数,format namenode后live node为0
解决: 需要删除data node服务器下之前设置的data node文件夹, 在hdfs-site.xml设置的,需要删除并重新建立文件夹
livenode 为0: 但是在每一个datanode服务器下jps都有datanode进程
每个服务器的hostname,和master下的worker里设置的名字不一样, 改了就好了