开源Java 实现的搜索引擎——Nutch

       Nutch 是一个开源Java 实现的基于Lucene的搜索引擎， Lucene为Nutch提供了文本索引和搜索的API。 Nutch 提供了我们运行自己的搜索引擎所需的全部工具。包括全文搜索和Web爬虫。

组成

       （1）爬虫crawler

        Crawler主要用于从网络上抓取网页并为这些网页建立索引。

       （2）查询searcher。

        Searcher主要利用这些索引检索用户的查找关键词来产生查找结果。

       两者之间的接口是索引，所以除去索引部分，两者之间的耦合度很低。 Crawler和Searcher两部分尽量分开的目的主要是为了使两部分可以分布式配置在硬件平台上，例如将Crawler和Searcher分别放在两个主机上，这样可以提升性能。