码厦（微信号）

1.    NameNode和dataNode的区别       Namenode是分布式文件系统的管理者，管理文件系统命名空间。集群配置信息和存储快的复制等，同时会将Meta-data存储在内存中。       DataNode是文件存储的基本单元，将block存储在本地文件系统中，存储了Meta-data，会周期性的将所有Block信息发送给NameNode。2. 文件写入  

针对分布式hadoop集群搭建，已经在四台虚拟机上，完全搭建好，这里针对整个搭建过程以及遇到的问题做个总结，按照下面的做法应该能够比较顺畅的搭建一套高可用的分布式hadoop集群。这一系列分布式组件的安装过程中，大体可以分为以下几步：第一步.配置机器互信   机器互信配置原理：机器互信是指一个机器可以不需要输入密码的情况下直接登录到另外一台机器，使用证书信任的方式。ftp，telnet

mr1中jobtracker存在单点，功能较多的问题，负责资源管理调度和job的生命周期管理（task调度，跟踪task过程状态，task处理容错），这样当大量的任务需要处理时，单个jobtracker无论在内存还是在其他资源方面总存在瓶颈，在伸缩性、资源利用率、运行除mr的其他任务都会有限制mrv2 yarn框架把资源调度和task管理监控分离开，由资源管理器NodeManager负责资源调