wym1581的专栏

http://blog.youkuaiyun.com/azhao_dn/article/details/7480201

http://blog.youkuaiyun.com/azhao_dn/article/details/6921457

http://www.cnblogs.com/zhangchaoyangk-means： http://codecloud.net/hadoop-k-means-591.html

1 Call From hadoop2/192.168.1.112 to hadoop2:9000 failed on connection exception: java.net.ConnectException: 拒绝连接;http://menuz.iteye.com/blog/1848459

之前使用Hadoop过程中遇到过几次由于任务执行过程中，某些slave宕机了，然后重启集群，master起不来，一直处于safe mode，查看原因是它一直在试图恢复大量的中间文件，但是此时这些文件不存在了，对于这种情况，可以删除它的redo日志，使集群能够快速的启动，删除的办法是修改设置中的Hadoop.tmp.dir的路径下的dfs/name/current/edits文件，这里的

http://zengzhaozheng.blog.51cto.com/8219051/1557054?utm_source=tuicool

YARN，它的基本设计思想是将MapReduce中的JobTracker拆分成了两个独立的服务：一个全局的资源管理器ResourceManager和每个应用程序特有的ApplicationMaster。其中ResourceManager负责整个系统的资源管理和分配，而ApplicationMaster则负责单个应用程序的管理。YARN的工作流程：步骤1 用户向YARN中提交应用程序

namenode 是主节点，存储文件的元数据如文件名，文件目录结构，文件属性（生成时间，副本数，文件权限），以及每个文件的块列表和块所在的datanode等datanode 在本地文件系统存储文件块数据，以及块数据的校验和secondary namenode 用来监控hdfs状态的辅助后台程序，每隔一段时间获取hdfs元数据的快照50030是观察mapdurce1分割过程：将文

http://dongxicheng.org/mapreduce/hadoop-optimization-0/

http://www.youkuaiyun.com/article/2014-12-08/2823020http://www.youkuaiyun.com/article/2014-12-01/2822867

namenode 是主节点，存储文件的元数据如文件名，文件目录结构，文件属性（生成时间，副本数，文件权限），以及每个文件的块列表和块所在的datanode等datanode 在本地文件系统存储文件块数据，以及块数据的校验和secondary namenode 用来监控hdfs状态的辅助后台程序，每隔一段时间获取hdfs元数据的快照

/** * 父进程，用来调用子进程，打印子进程的输出到控制台，这里的输出可以写入一个文件等方式。 * */public class Tcollector { public static void main(String[] args) throws IOException { Runtime run = Runtime.getRuntime();//获得运行的环境 Proces