
Hadoop
Halo 咯咯
从1到100很简单,但是从0到1却很难(不过,现在有一些0到1的工作可以丢给AI了)。
展开
-
Hadoop 2.6.0 启动问题 lib/native/libhadoop.so which might have disabled stack guard
Hadoop 在启动的时候出现以下问题:bhbase6: Java HotSpot(TM) 64-Bit Server VM warning: You have loaded library /usr/local/hadoop/lib/native/libhadoop.so which might have disabled stack guard. The VM will try to fi原创 2017-09-09 16:08:10 · 8290 阅读 · 0 评论 -
Hadoop中namenode无法启动
当启动hadoop时,其他进程都启动了,就namenode进程无法。查看了日志,里面报错信息如下:2017-09-14 10:46:01,164 FATAL org.apache.hadoop.hdfs.server.namenode.NameNode: Failed to start namenode.java.io.FileNotFoundException: /usr/loca原创 2017-09-14 11:20:05 · 2927 阅读 · 1 评论 -
Hadoop启动之后datanode进程在 但50070页面Live Nodes为0
当正常启动hadoop之后,一般进程都在,而且50070端口可以访问,但是8088端口却不能访问,这里可能有多种原因造成这样:1、/etc/hosts 中的ip映射不对2、master与slave之间不能互通3、hadoop配置文件有错在子节点中查看日志,2018-01-03 09:26:48,488 INFO org.apache.hadoop.ipc.Client: Ret原创 2018-01-03 11:11:50 · 6052 阅读 · 1 评论 -
Hadoop 启动了之后, ResourceManager未起来的问题解决
今天早上同学让我帮忙启动了下集群,首先就要启动hadoop,jps进程看了下:2128 QuorumPeerMain12178 Jps8259 SecondaryNameNode7993 NameNode发现Hadoop的namenode和secondarynamenode都起来了,但是resourcemanager却没有起来,但是感觉配置都没有错,这个时候去查看了日志,原创 2018-01-16 09:32:16 · 73760 阅读 · 7 评论 -
Hadoop 启动之后,datanode启动错误的问题解决--报 java.net.BindException
今天中午在hdfs-site.xml文件中添加了一个端口50010,然后重新启动hadoop,之后发现namenode正常启动,但是datanode启动不了。在datanode节点查看日志报错信息如下:java.net.BindException: Problem binding to [hbase1:50010] java.net.BindException: Cannot assign原创 2018-01-31 16:53:55 · 9664 阅读 · 0 评论 -
在搭建好Hadoop集群后,namenode与datanode两个过程不能起来,或者一个启动之后另一个自动关闭
故障现像: 此故障可以算是在换电脑搭集群后最多的故障了,首先是从节点上相关进程都没起来,后来又是进程起来后从节点上datanode节点没起来,最后是datanode进程起来之后,主节点上namenode进程又没起来。此故障看起来一波三折,实际上在理解好相关原理后,解决起来要比第一个故障轻松一些。解决思路: 原理为先:首先要找到对应关系,主节点上nam转载 2018-01-26 10:03:03 · 2797 阅读 · 1 评论