hadoop的零基础理解

最新推荐文章于 2024-10-28 19:30:10 发布

小魔熊

最新推荐文章于 2024-10-28 19:30:10 发布

阅读量307

点赞数

CC 4.0 BY-SA版权

分类专栏：数据库知识文章标签： hadoop

本文链接：https://blog.youkuaiyun.com/wang111ya/article/details/78135712

数据库知识专栏收录该内容

2 篇文章

订阅专栏

本文通过类比图书馆的方式，介绍了Hadoop架构中的四个关键组成部分：HDFS、HBase、MapReduce和Hive的功能及作用。HDFS提供分布式文件存储服务；HBase作为NoSQL数据库，帮助快速定位数据；MapReduce实现并行处理海量数据；Hive简化了复杂的数据查询过程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

红框是hadoop架构的四大要素，hadoop可以类比成一个图书馆。
1、HDFS是图书馆的那栋楼，里面可以装各种文件，采用分布式的存储方式；
2、HBase相当于书架，没有书架只有楼也能装文件，但是要找起来就很慢，有了HBase，按照各个书架的编号，就很好找了；但是不是所有楼都有书架，某些不常用的文件就直接放在空房间里；
3、MapReduce相当于负责找书的员工，如果我现在要找包含了“毛泽东”三个字的所有书，MapReduce就会把这个任务分发，让A队去找一楼，B队去找二楼，然后再把AB两队的结果汇总输出；
4、hive是高级编程语言，相当于图书馆的前台，把客户的需求翻译成MapReduce语言，然后MapReduce再去执行；如果没有hive，客户和MapReduce沟通起来会非常费力，因为MapReduce的编程语言很晦涩难学。

个人理解，不对的地方请多多指正~~