Hadoop的HDFS

HDFS

易于扩展的分布式文件系统

运行在大量的普通低成本机器上，提供容错机制

为用户提供性能极好的文件存储服务

优点：

高容错性-数据自动保存多个副本，副本丢失自动恢复

适合批量处理-移动计算而非数据，数据位置暴露给计算框架

适合大数据处理-TB,PB级的数据，百万规模以上的文件数量，10K+节点

流式文件访问-一次写入，可多次读取，确保数据的一致性

可构建在廉价机器上-通过多副本提高可靠性，有容错和恢复机制

缺点与不足：

不适合低延迟数据访问- 比如毫秒级的访问要求

                                    - 低延迟与高吞吐率的权衡

不适合小文件存取- 占用NameNode大量内存

                             - 寻道时间超过读取时间

不适合并发写入、文件随机修改- 一个文件只能有一个Writer

                                                  - 仅支持append写入