HDFS基本概念和特性的详情了解及优缺点

HDFS

1. 前言

  HDFS是Hadoop Distributed File System的简称，是Hadoop抽象文件系统的一种实现。是一个用Java实现、分布式的、可扩展的文件系统。Hadoop抽象文件系统可以与本地系统、Amazon S3等集成，甚至可以通过Web协议（webhsfs）来操作。

• HDFS的文件分布在集群机器上，同时提供副本进行容错及可靠性保证。例如客户端写入读取文件的直接操作都是分布在集群各个机器上的，没有单点性能压力。
• Hadoop Distributed File System   
  1.易于扩展的分布式文件系统

2. 运行在大量普通廉价机器上，提供容错机制
3. 为大量用户提供性能不错的文件存取服务

• HDFS的主要功能是做存储用的，把每一份数据创建多个副本、做复制，默认的副本数是3份。

• HDFS设计目标
  1.自动快速检测应对硬件错误
  2.流式访问数据
  3.移动计算比移动数据本身更划算 io
  4.简单一致性模型
  5.异构平台可移植
• 设计思想
  分而治之：将大文件、大批量文件，分布式存放在大量服务器上，以便于采取分而治之的方式对海量数据进行运算分析；对同一个文件进行联合管理。
  每个小文件做冗（rǒng）余备份，并且分散到不同的服务器中，做到高可靠不丢失。
• 在大数据中的作用：
  为各类分布式运算框架（如：mapreduce，spark，tez，……）提供数据存储服务
• 重点概念
  文件切块，副本存放，元数据