hadoop初学

本文详细记录了作者从理论到实践学习Hadoop的过程,包括理论学习、YARN架构理解、安装与运行wordcount程序,并计划适配Eclipse。重点介绍了Hadoop与YARN的基本原理及新旧版本架构的区别。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

近来开始一个人撸hadoop,几天下来稍作记录。


理论学习方面,如要深入了解内部机制,谷歌三大论文是基础,尤其是mapreduce一文推荐。

鄙人还借了一本权威指南来看,此书第二版是华师大的几位老师翻译的,如英文较好可直接阅读原版。

早期的map-reduce的架构还是比较清楚的,job tracker居中统筹系统任务,task tracker分别监视机器作业。

但在新一代的map-reduce框架yarn中,分设了ResourceManager,ApplicationMaster 与 NodeManager来做管理,解决了老版本中的一些性能瓶颈。 

参见http://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop-yarn/


本着追逐时代脚步的想法,在hust的镜像下了一个比较新的hadoop版本2.4.0

如上文所言,安装过程与网络上居多的老版本教程中所写总是有些区别,此时就得发挥智慧随机应变了。

在ubuntu上启动hadoop跑完wordcount程序,查看下词数统计的结果,就算是测试成功了。

下一步准备适配eclipse。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值