chinabinner的专栏

最近在看hadoop相关的书籍,尝试着写下来我所理解的hadoop. 什么是hadoop呢?一句话可以总结为 适合海量数据的分布式存储和计算平台. 这句话从后往前说,"计算平台"就是mapreduce,"分布式存储"就是HDFS,"海量数据"到底是多少数据呢,听说是PB级别的,"适合"怎么来解释呢,也就是说如果数据是GB级别的,那就没必要使用hadoop了,单机来处理就可以了.

hadoop 的集群是基于master/slave 模式 namenode 和jobtracker 属于master datanode 和tasktracker 属于slave master 只有一个，而slave 有多个 SecondaryNameNode 内存需求和NameNode 在一个数量级上，所以通常secondaryNameNode（运行在单独的物理机器上）和NameN