chunguang.yao的博客

刚刚在hadoop想创建一个目录的时候，发现报错了 具体信息如下： [hadoop@mini1 hadoop-2.6.4]$ hadoop fs -mkdir /file mkdir: Cannot create directory /file. Name node is in safe mode. 从错误信息可以看到hadoop当前的namenode是处于安全模式。 解决： [ha...

集群简介 HADOOP集群具体来说包含两个集群：HDFS集群和YARN集群，两者逻辑上分离，但物理上常在一起（也就是说需要分别部署HDFS集群和YARN集群，但是这两个集群在一个机器上部署） HDFS集群： 负责海量数据的存储，集群中的角色主要有 NameNode / DataNode YARN集群： 负责海量数据运算时的资源调度，集群中的角色主要有 ResourceManager /No...

这几天一直在尝试一个mapreduce的例子，但是一直都是卡在mapreduce.Job: Running job: job_1553100392548_0001，查看日志也不报错，查看每个配置文件没有问题，很纳闷。今晚决定把整个流程梳理一下，试图找出问题原因，果然功夫不负有心人。 首先来说一下现象 运行的时候一直卡在这个界面 也没有报错。很奇怪。 然后访问Applications查看...

在我们平时的开发中，apache是我们接触得最多的开源组织，并且apache为我们提供了很多很牛的软件，包括我们常用的tomcat,hadoop,flume。。。等 我们都可以在如下的软件仓库中找到 http://archive.apache.org/dist/ 点击对应的目录进去就可以找到我们需要的版本的软件 ...

之前在自己本地的电脑上安装了3个linux机器来搭建hadoop集群，前面一段时间是使用三台来进行练习，后面发现电脑内容有点紧，就切换为两台。最近给电脑加了内存之后，就想把三台一起启动了。但是发现之前一直没用的那台没能起来，就去查看日志。 到mini3机器的日志目录，查看日志： 由错误日志可以看出来是当前机器的集群id和nameNode的集群id不相同，导致该节点无法加入集群 ...