dirk2014的博客

spark1.6.2 on hadoop2.6.4安装流程

1.1 YARN 基本架构 YARN是Hadoop 2.0中的资源管理系统，它的基本设计思想是将MRv1中的JobTracker拆分成了两个独立的服务：一个全局的资源管理器ResourceManager和每个应用程序特有的ApplicationMaster。 其中ResourceManager负责整个系统的资源管理和分配，而ApplicationMaster负责单个应用程序的管理。

HDFS源自Google的GFS（Google分布式文件系统）论文，分布式文件系统（HDFS）是GFS的克隆版。HDFS负责数据文件的存储，可让多机器上分享存储空间，让实际上通过网络来访问文件的动作，用户就像是访问本地磁盘一样便捷。即使HDFS集群中某些节点脱机，     整体来说系统仍然可以持续运作而不会有数据丢失。HDFS提供了一个低成本、高可靠、高容错、高性能的分布式文件系统。1.低成本主要