转自：http://dikar.iteye.com/blog/943524 第一类：后台任务线程   Java代码   org.apache.hadoop.hdfs.server.namenode.PendingReplicationBlocks$PendingReplicationMonitor   org.apache.hadoop.hdfs.serv

转自：http://dongxicheng.org/mapreduce/hadoop-optimization-0/

转自：http://huashuizhuhui.iteye.com/blog/1876145

Hadoop是一个开发和运行处理大规模数据的软件平台,是Apache的一个用Java语言实现开源软件框架，实现在大量计算机组成的集群中对海量数据进行分布式计算。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。      Hadoop框架中最核心设计就是：HDFS和MapReduce。HDFS提供了海量数据的存储，MapReduce提供了对数据的计算。

试了一下在ubuntu下搭一个伪分布式的hadoop环境，主要是参考的这篇文章

转自：http://www.cnblogs.com/sharpxiajun/p/3151395.html hadoop 学习笔记：mapreduce框架详解 　　开始聊mapreduce，mapreduce是hadoop的计算框架，我学hadoop是从hive开始入手，再到hdfs，当我学习hdfs时候，就感觉到hdfs和mapreduce关系的紧密。这个可能是

转自：http://dongxicheng.org/mapreduce/hdfs-federation-introduction/ HDFS Federation是Hadoop最新发布版本Hadoop-0.23.0中为解决HDFS单点故障而提出的namenode水平扩展方案。该方案允许HDFS创建多个namespace以提高集群的扩展性和隔离性。本篇文章主要介绍了HDFS Feder

转自：http://blog.youkuaiyun.com/anzhsoft/article/details/23428475

一致性哈希和分布式哈希表 转自：http://www.dullgull.com/2012/05/%E4%B8%80%E8%87%B4%E6%80%A7%E5%93%88%E5%B8%8C%E5%92%8C%E5%88%86%E5%B8%83%E5%BC%8F%E5%93%88%E5%B8%8C%E8%A1%A8/ 一致性哈希（consistent hashing）和分布式哈希表（D

转自：http://elf8848.iteye.com/blog/1724382 常见的分布式文件系统有，GFS、HDFS、Lustre 、Ceph 、GridFS 、mogileFS、TFS、FastDFS等。各自适用于不同的领域。它们都不是系统级的分布式文件系统，而是应用级的分布式文件存储服务。     Google学术论文，这是众多分布式文件系统的起源