ReyzeLamp的博客

目的 总结HDFS-HA实施步骤及细节（概述HDFS高可用性（HA）功能以及如何使用Quorum Journal Manager（QJM）功能配置和管理HA HDFS群集）背景在Hadoop 2.0.0之前，NameNode是HDFS集群中的单点故障（SPOF）。每个群集只有一个NameNode，并且如果该计算机或进程不可用，则整个群集将不可用，直到NameNode重新启动或...

配置免登录Ø创建或者修改密钥目录权限假设本机的IP为“192.168.1.100”，配置免登录的操作步骤如下：1.以hadoop用户登录各服务器。2.执行以下命令，修改“.ssh目录”权限。chmod755~/.ssh说明：如果“.ssh”目录不存在，请在/home/hadoop目录执行mkdir~/.ssh命令创建。a)...

HDFS的运行原理写操作： 首先客户端给namenode发送一条写的请求，请求中包括上传文件的大小，名称等信息namenode将会把该文件分割成多个块，备份，然后分析把多个部分应该分在那些datanode中，并记录对应的位置，（假设）合成一张表（即元数据），返回给客户端当然，namenode自己也会把存储信息保存一份在内存中，同时另一个namenode将会把存储信息（即元数据）保存

2017-07-29 15:16:21,778 FATAL org.apache.hadoop.hdfs.server.namenode.NameNode: Exception in namenode joinjava.net.BindException: Problem binding to [bigdata-trianing01.com:8020] java.net.BindExcep

Hadoop调优方式一个MapRedcue作业是通过JobClient向master的JobTracker提交的（JobTracker一直在等待JobClient通过RPC协议提交作业），JobTracker接到JobClient的请求后把其加入作业队列中。Datanode节点的TaskTracker一直通过RPC向JobTracker发送heartbeat询问有没有任务可做，