本文介绍了HDFS的特性，包括适合存储大文件、流式读取和部署在廉价机器上，同时也指出了其不适合小文件存储、实时读取和频繁修改数据的场景。接着，详细阐述了HDFS的架构，包括Client、NameNode、Secondary NameNode和DataNode的角色与功能。此外，文章还解析了MapReduce的工作原理，包括JobTracker、TaskTracker、Task和Client的职责，以及Map Task和Reduce Task的执行流程。
HDFS
HDFS是一个具有高度容错性的分布式文件系统，适合部署在廉价的机器上，它具有以下几个特点：
1）适合存储非常大的文件
2）适合流式数据读取，即适合“只写一次，读多次”的数据处理模式
3）适合部署在廉价的机器上
但HDFS不适合以下场景（任何东西都要分两面看，只有适合自己业务的技术才是真正的好技术）：
1）不适合存储大量的小文件，因为受Namenode内存大小限制
2）不适合实时数据读取，高吞吐量和实时性是相悖的，HDFS选择前者
3）不适合需要经常修改数据的场景
最低0.47元/天 解锁文章
扫一扫
评论
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
添加红包
