nutch ParserJob Plugin加载流程源码解析

最新推荐文章于 2020-04-22 16:30:57 发布
原创 最新推荐文章于 2020-04-22 16:30:57 发布 · 152 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文详细介绍了如何在MapReduce作业中加载和使用自定义解析插件的过程。从解析工厂(parserFactory)初始化开始，深入探讨了如何避免mimeType重复定义的问题，并最终通过调用getParse方法来运行这些插件。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

parserJob入口

 

 

 

 

初始化parserFactory的时候会去读取parse-plugins.xml配置的插件信息

 

 

 

重点就是下面这段了。如果mimeType重复定义 在parse-plugin.xml,会被覆盖导致只有一个

所以相同mimeType，放到一起

 

。配置加载完成。

然后看怎么调用插件，回到job主方法，定义好map reduce的相关配置 就等待运行完成。

那么就看看map reduce到底怎么处理插件的

parserJob入口

 

 

 

 

初始化parserFactory的时候会去读取parse-plugins.xml配置的插件信息

 

 

 

重点就是下面这段了。如果mimeType重复定义 在parse-plugin.xml,会被覆盖导致只有一个

所以相同mimeType，放到一起

 

。配置加载完成。

然后看怎么调用插件，回到job主方法，定义好map reduce的相关配置 就等待运行完成。

那么就看看map reduce到底怎么处理插件的

一些校验处理

 

 

下面就是核心代码咯。拿到xml刚刚加载的parser定义，并实例化他们。

再调用parser接口定义的唯一方法。getparse 即可运行自定义插件

在看看是怎么拿到parser的

 

 

 

 

一些校验处理

 

 

下面就是核心代码咯。拿到xml刚刚加载的parser定义，并实例化他们。

再调用parser接口定义的唯一方法。getparse 即可运行自定义插件

在看看是怎么拿到parser的

 

 

 

 


【Nutch】ParserJob
玉衡
08-23 1362
parse的主要工作是对抓取的网页进行解析，解析出其中的text，outlinks和metadata等信息。 首先： package org.apache.nutch.parse;
搜索引擎算法研究专题一：基于页面分块的搜索引擎排序算法改进
wangzhiqing3的专栏
04-10 994
一、传统搜索引擎排序算法概述 　　1. 1 搜索引擎排序算法概述 　　搜索引擎查询的结果是按照一定的规则排序供用户查看, 这种规则就是搜索引擎排序算法. 目前几种比较通用的搜索引擎排序算法有Direct Hit 排序算法、PageRank、排名竞价服务和词频位置加权排序算法.Direct Hit 排序算法是一种动态排序算法, 搜索引擎返回的排序结果根据用户的点击和网页被浏览的时间进行变化. P
基于Nutch的站内搜索引擎搭建（二）
李维
04-18 242
http://www.ahathinking.com/archives/151.html   Windows下Nutch的安装配置，参见：基于Nutch的站内搜索引擎搭建（一） 本节在上回基础上，对Nutch添加中文分词插件，进行二次开发，同时辅助Nutch分析工具了解Nutch的工作机制，并对其进行一些简单的优化配置。内容如下： ===部件及安装=== ===Nutch添加中文分词...
解决Nutch一些小问题
xiaoyu714543065的专栏
03-19 700
1.网页快照乱码问题 Nutch的网页快照是乱码，解决办法是修改tomcat/webapps/nutch目录下的cached.jsp文件，修改其中的第63行。 原来的代码是：content = new String(bean.getContent(details); 修改后的代码是：content = new String(bean.getContent(details),"gb2312")
搜索引擎 Nutch
weixin_30321709的博客
02-12 139
Nutch是一个开源Java实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具。包括全文搜索和Web爬虫。 尽管Web搜索是漫游Internet的基本要求, 但是现有web搜索引擎的数目却在下降. 并且这很有可能进一步演变成为一个公司垄断了几乎所有的web搜索为其谋取商业利益.这显然 不利于广大Internet用户. Nutch为我们提供了这样...
Lucene与Nutch搜索引擎开发实践源码解析
5. **Nutch源码解析** - 了解Nutch源码中的关键类，例如`CrawlDatum`、`URLFiler`、`WebCrawler`等。 - 分析Nutch如何整合Lucene，实现索引和搜索功能。 ### Spider的使用和源码知识点 1. **Spider的概念** - ...
Lucene+Nutch搜索引擎开发完整源码解析
本节内容将涵盖Lucene和Nutch的基本概念、搜索引擎开发的相关技术，以及源码分析和使用说明。 ### Lucene 基础 **Apache Lucene** 是一个开源的、高性能的、可扩展的搜索引擎库，它提供了一整套用于构建搜索引擎的...
最新版nutch-2.2.1网络爬虫源码解析
Nutch作为一个网络爬虫，其基础功能包括获取网页（Fetch），解析网页（Parse），和链接提取（Link Extracting）。 2. 分布式架构 Nutch采用Hadoop作为其分布式存储和计算平台。Nutch通过Hadoop的分布式文件系统...
Apache Nutch v1.19网络爬虫源码解析
资源摘要信息:"Apache Nutch网络爬虫是一个开源的搜索引擎框架，它旨在帮助开发者构建、维护并优化自己的搜索系统。作为一个高度模块化的系统，Nutch支持网页内容的索引以及搜索功能，其设计允许用户轻松地添加新的...
Nutch爬虫学习资料与源码深度解析
学习源码可以帮助开发者理解Nutch如何处理URL队列、如何通过调度器管理抓取任务、如何执行网页的解析和索引，以及如何处理各种数据和错误。此外，阅读源码还能让开发者了解到Nutch如何优化性能，例如通过线程池、...
提高nutch爬取效率
云端分布式搜索技术
03-09 4747
Here are the things that could potentially slow down fetching 下面这些是潜在的影响爬取效率的内容：   1) DNS setup 2) The number of crawlers you have, too many, too few. 3) Bandwidth limitations 4) Number of
windows下安装nutch2.1
weixin_30407099的博客
03-19 215
1.准备（一下版本为本人使用版本） 下载JDK1.7，建议下载安装版jdk-7u15-windows-x64.exe；（安装，并配置JAVA_HOME，PATH，CLASSPATH路径） 下载cygwin，下载安装版cygwin-setup.exe； 下载tomcat，apache-tomcat-7.0.37.exe； 下载nutch，apache-nutch-1.2-bin...
搜索引擎Nutch 0.7.2 试用笔记
纯月部落
05-12 8095
  在Google里面搜索了一些Nutch的资料，还真不多。今天画了两个小时搞了一通，把一些心得纪录下来。我的jdk 是1.5.x ，Tomcat是5.0.x1 下载0.7.2 版本的包：里面已经包含了war文件，所以不需要Ant编译了2 安装Cygwin，这个没什么好说的。3 把Nutch借压缩到D:/nutch4 在D:/nutch下面建立一个文件 urls （没有后缀）
基于Java的搜索引擎Nutch中文搜索技术研究
吴楚狂生
11-20 3611
基于Java的搜索引擎Nutch中文搜索技术研究宿红毅 罗 宏 臧海峰 （北京理工大学 计算机科学与工程系，北京 100081）摘要：Nutch是一个优秀的基于Java的开放源码搜索引擎，为了使它能够支持中文搜索，本文在分析了Nutch结构的基础上，采用词表分词技术和前向匹配分词算法对中文信息进行分词，以JavaCC脚本实现上下文相关文法中文分析模块，成功实现了Nutch中文搜索功
排序算法
都给我严肃点!
01-07 252
n版本 0.9 n采用了 OPIC算法来实现 目前网络上的排序算法都是依托图论来实现对整个互联网页面的排序，起基本的思想有以下几点：将互联网表示为一个图G，用矩阵L来描述，其中L非负，如果在L中的两点(i,j)存在链接，那么L|(i,j)|>0,google直接认为如果存在链接，那么d(i,j)=外链的倒数。 剩下的就是一堆md所谓的数学推导，其实基本上离不开d(i,j)这个鸟概念，对于函数...
网络信息检索（七）搜素引擎体系结构与排序算法
csyifanZhang的博客
04-22 2137
文章目录一、搜索引擎体系结构1：搜索引擎的性质与软件体系结构2：大规模搜索引擎—Google3：早期体系结构--中小型搜索引擎（1）采集数据（2）建立索引（3）提供检索服务（4）数据结构（5）Google检索算法（1）单个检索词的查询排序（2）多个检索词的查询排序（3）扩展性与关键的优化技术4：现代体系结构--超大型搜索引擎二、排序算法-高度保密的部分1：Lucene（1）简介与典型应用（2）得分...
使用NUTCH进行单站点的爬取与检索测试
weixin_33973609的博客
06-27 110
单站点的爬取与检索测试1, 创建urls文件夹,在文件夹下面创建seed.txt文件, 在seed.txt文件中输入要爬取的站点例如: www.osu.edumkdir -p urls cd urlstouch seed.txt to create a text file seed.txt under urls/ with the following content (one URL ...
Nutch搜索引擎的原理介绍
weixin_34336292的博客
03-26 418
2019独角兽企业重金招聘Python工程师标准>>> ...
Nutch源码阅读进程4---parseSegment
baixieyun4655的博客
08-03 132
前面依次看了nutch的准备工作inject和generate部分，抓取的fetch部分的代码，趁热打铁，我们下面来一睹parse即页面解析部分的代码，这块代码主要是集中在ParseSegment类里面，Let‘s go~~~ 上期回顾：上回主要讲的是nutch的fetch部分的功能代码实现，主要是先将segments目录下的指定文件夹作为输入，读取里面将要爬取的url信息存入爬...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值