积累

   导言：    在数据量暴增的今天，企业的趋势，过去的统计和未来的预测其实就藏在大量的数据之中，但如何获得？hadoop提供了可靠的存储和高性能并行服务处理。但hadoop真正的价值来自于这项技术的添加件、交叉集成和定制实现。其中又以MapReduce的作用尤为突出。       大数据正是指这些数据以及相关工具、平台和分析技术。    那些追逐“大数据”的机构面临的最大挑战是获得一种平...

   1 如果要研究Hadoop的话，在下载Apache的版本是一种不错的选择。    2 只研究Apache版本的，不足以对Hadoop的理念理解。再对Cloudera版本的研究，会更上一层楼。...

一、HDFS的基本概念 1.1、数据块(block) HDFS(Hadoop Distributed File System)默认的最基本的存储单位是64M的数据块。 和普通文件系统相同的是，HDFS中的文件是被分成64M一块的数据块存储的。 不同于普通文件系统的是，HDFS中，如果一个文件小于一个数据块的大小，并不占用整个数据块存储空间。 1.2、元数据节点(Namenode)和数据节...