Hadoop与Lucene和Nutch的关系

最新推荐文章于 2025-08-20 15:27:05 发布

转载最新推荐文章于 2025-08-20 15:27:05 发布 · 101 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/hanyangmo/p/3903401.html

文章标签：

#大数据 #java

Hadoop实现了GFS和MapReduce，成为一个分布式计算平台。Lucene是高性能全文索引引擎，Nutch基于Lucene实现搜索引擎应用，并具备数据抓取功能。Nutch0.8.0版本后，构建于Hadoop之上。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Hadoop+Lucene+Nutch

Hadoop中实现了 Google的GFS和MapReduce算法，使Hadoop成为了一个分布式的计算平台。Hadoop不仅是一个用于存储的分布式文件系统，而且是设计用来在由通用计算设备组成的大型集群上执行分布式应用的框架。

Lucene是一个Java高性能全文索引引擎工具包可以方便的嵌入到各种实际应用中实现全文索引搜索功能。Nutch是一个应用程序，是一个以Lucene为基础实现的搜索引擎应用，Lucene为Nutch 提供了文本搜索和索引的API，Nutch不仅提供搜索，而且还有数据抓取的功能。

在nutch0.8.0 版本之前，Hadoop是Nutch的一部分，从nutch0.8.0开始，NDFS和MapReduce从中被剥离出来成立一个新的开源项目 Hadoop，Nutch0.8.0版本的架构比从前有了根本性的变化，完全构建在Hadoop的基础之上了。

转载于:https://www.cnblogs.com/hanyangmo/p/3903401.html