hadoop project 学习总结

最新推荐文章于 2022-07-30 13:12:38 发布

最新推荐文章于 2022-07-30 13:12:38 发布 · 182 阅读

文章标签：

#Hadoop #Google #HBase #Mapreduce #编程

hadoop 专栏收录该内容

13 篇文章

订阅专栏

Hadoop项目基于Google发表的几篇论文发展而来，主要涉及分布式文件系统HDFS、分布式计算框架Map/Reduce等关键技术。HDFS通过将文件切分为64MB大小的块并分布存储来提高磁盘读取效率，同时保证数据冗余；Map/Reduce则为HDFS上的数据处理提供了分布式计算能力。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

hadoop 项目源自于google的几篇论文

http://labs.google.com/papers/gfs.html
http://labs.google.com/papers/mapreduce.html
http://labs.google.com/papers/bigtable.html
http://labs.google.com/papers/chubby.html
http://labs.google.com/papers/sawzall.html

HDFS	GFS
Map/Reduce
Hbase	Bigtable
ZooKeeper	Chubby
Pig	Sawzall

hdfs 提供一个分布式存储，类似于磁盘阵列。基于一个假设：文件读取操作多，很少改，读文件时总是对一个文件整个顺序读取。

把文件切分成64M的块儿，分开存储，大文件有利于提高磁盘寻道的效率，一次查找大段的读取
最好的情况下每块儿都在不同的机器上，分散I/O
另外每块儿可以在多台机器上存多个副本，提高可靠性，单台机器坏掉依然可以从其他机器找到完整的文件

map/reduce 在hdfs之上提供一个分布式的计算环境。这个概念来自于函数式编程。其实限制是很大的

要求计算任务能够被拆分成互不相干的、相同的小任务
面向行数据的处理，要求输入数据格式统一
必须把文件先上传到hdfs

幸运的是合乎要求1的情况也挺多的，很多时候可以把一些看上去不太符合要求的任务转个弯拧过来；在有使用hadoop意愿的前提下，预先做些工作，要求2也比较容易实现；第三条严重制约与网络带宽