Lpf的博客

昨天晚上吃的东西不怎么卫生今天肚子很难受，还好放清明了，今天刚刚从医院回来，玩一个hadoop的分布式搭建再休息休息废话不多说1、网络配置好，关闭iptables防火墙，关闭selinux2、jdk1.7.0_67hadoop-2.6.5.tar.gz上传这两个包3、安装jdkrpm -ivh jdk-7u80-linux-x64.rpm4、编辑vi /etc/profile添加...

1.时间同步yum install ntp 启动NTP时间服务器：service ntpd start设置NTP开机自动启动：chkconfig ntpd on查看NTP是否正常运行：chkconfig | grep ntp2.node1,2,3,4做免密钥登录ssh-keygen -t dsa -P ‘’ -f ~/.ssh/id_dsa cat ~/.ssh/id_dsa.pub...

一、作业流程 1、 客户端到MR申请作业编号 检验输入目录是否存在 检验输出木木是否为空 计算切片信息（偏移量，数据大小，放在那些DN上） 2、 将conf，jar，切片信息发送到HDFS以作业编号命名的目录下 3、 向RM发送请求提交作业 4、 RM调度NM，让NM分配一个容器，运行MRAppmaster程序 5、 MRAppmaster收集HDFS上的...

yarn任务调度，资源调度1、客户端去ResourceManager取任务编号2、ResourceManager在HDFS上创建个以任务编号命名的目录3、客户端经行输入输出检查，计算切片信息等4、客户端把jar，conf，切片信息上传到HDFS以任务编号命名的目录5、客户端通知ResourceManager启动APPMaster进行资源调度6、ResourceManager选取一台有...

读流程写流程

读流程

HadoopHA图解