超级会员免费看
本文是作者学习Hadoop的总结，重点讲述了HDFS的特性，包括Namenode和Datanode的角色，以及数据读取流程。接着介绍了MapReduce的原理，特别是Map和Reduce任务的执行过程，以及shuffle阶段的关键作用。最后提到了Hadoop的I/O系统，如InputFormat、OutputFormat、SequenceFile和MapFile。
工作中用Hadoop有一段时间了，加上自己看《Hadoop实战2》，同时参考了网上的很多文章。静下心来，盘点下这一段时间的收获，归纳总结，做一个学习笔记，因为可以记录的东西实在太多了，所以这里就着重记录我在学习过程中花费比较多时间去理解的内容。
说到Hadoop就不能不提到Lucene和Nutch。Lucene并不是一个应用程序，只是提供了一个Java的全文索引引擎工具包，可以方便的嵌入到各种实际应用中实现全文搜索、索引功能。Nutch是一个以Lucene为基础实现的搜索引擎应用。在Nutch0
订阅专栏 解锁全文
扫一扫
3441
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
