zhm_feng

整体流程模拟集群中有三个slaves时1.修改虚拟机网络连接方式 主机名 IP 映射文件 关闭防火墙2.安装ssh客户端方便多台虚拟机传输数据3.安装jdk84.安装hadoop安装包 配置环境变量安装准备文件先将虚拟机的网络模式选为NAT修改主机名vi /etc/sysconfig/networkNETWORKING=yesHOSTNAME=hdp01 ##配置...

MapReduce的执行流程文件读取组件调用getRecordReader()方法,再调用LineRecordReader方法来读取切片文件读取完之后到Mapper中进行处理 Mapper处理完之后,数据进入环形缓冲区环形缓冲区数据超过80%时会溢出,每溢出一次数据,都会与上一次溢出的数据进行合并操作(归并排序法)数据合并完之后,reduce会主动拉取分区完的数据进入Reduce程序中执...

SecondaryNameNode定期向NameNode发送check point请求NameNode将上一次checkpoint到现在的日志和fsimage一起发送到SecondaryNameNodeSecondaryNameNode在内存中读取fsimage和日志信息,并按日志对fsimage进行操作SecondaryNameNode将合并好的数据打包成.checkpoint文件发送给...