《深入理解大数据：大数据处理与编程实践》一一第3章 大数据存储——分布式文件系统HDFS...

第3章 大数据存储——分布式文件系统HDFS

大数据处理面临的第一个问题是，如何有效存储规模巨大的数据？对于大数据处理应用来说，依靠集中式的物理服务器来保存数据是不现实的，容量也好，数据传输速度也好，都会成为瓶颈。要实现大数据的存储，需要使用几十台、几百台甚至更多的分布式服务器节点。为了统一管理这些节点上存储的数据，必须要使用一种特殊的文件系统——分布式文件系统。为了提供可扩展的大数据存储能力，Hadoop设计提供了一个分布式文件系统HDFS（Hadoop Distributed File System）。
本章首先简要介绍HDFS的基本特征、基本构架、工作过程，以及HDFS的可靠性设计和数据存储及访问方法，在此基础上进一步介绍HDFS的文件操作命令和HDFS的编程接口和编程示例。