WebCollector教程——爬取搜索引擎

最新推荐文章于 2019-10-23 14:34:51 发布
原创 最新推荐文章于 2019-10-23 14:34:51 发布 · 4.2k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#JAVA爬虫

本教程详细介绍了如何使用WebCollector 2.20爬取搜索引擎，特别是Bing的搜索结果。教程涵盖了MetaData的使用，用于简化POST请求和处理遍历深度信息。还讲解了RamCrawler的适用场景，它适合一次性爬取任务，同时提醒在多线程环境下使用ArrayList需要注意线程安全问题。此外，提到了通过捐款支持WebCollector项目的途径。

本教程演示了WebCollector 2.20的新特性。

下载

WebCollector最新jar包可在WebCollector github主页下载。

MetaData:

MetaData是每个爬取任务的附加信息,灵活应用MetaData可以大大简化爬虫的设计。
例如Post请求往往需要包含参数，而传统爬虫单纯使用URL来保存参数的方法不适合复杂的POST请求。

一些爬取任务希望获取遍历树的深度信息，这也可以通过MetaData轻松实现，
可参见教程DemoDepthCrawler。

RamCrawler:

RamCrawler不需要依赖文件系统或数据库，适合一次性的爬取任务。
如果希望编写长期任务，请使用BreadthCrawler。

本教程实现了一个爬取Bing搜索前n页结果的爬虫，爬虫的结果直接输出到标准输出流
如果希望将爬取结果输出到ArrayList等数据结构中，在类中定义一个ArrayList的成员变量，
输出时将结果插入ArrayList即可，这里需要注意的是爬虫是多线程的，而ArrayList不是线程
安全的，因此在执行插入操作时，可使用下面的方式上锁保证安全。

    synchronized(this){ 
        //插入操作
    }

本教程中对Bing搜索的解析规则可能会随Bing搜索的改版而失效。

import cn.edu.hfut.dmic.webcollector.model.CrawlDatum;
import cn.edu.hfut.dmic.webcollector.model.CrawlDatums;
import cn.edu.hfut.dmic.webcollector.model.Page;
import cn.edu.hfut.dmic.webcollector.plugin.ram.RamCrawler;
import java.net.URLEncoder;
import org.jsoup.select.Elements;
import org.jsoup
最低0.47元/天 解锁文章
JAVA网络爬虫WebCollector深度解析——爬虫内核
AJAXHu的专栏
07-21 3万+
JAVA开源爬虫内核WebCollector,让爬虫开发变得简单。WebCollector提供了一个稳定高效的JAVA爬虫框架，同时也提供了爬虫所需的基本类库，内置了几套基本的爬虫（有界面）。无论你是做网页爬取还是网页抽取，都可以通过几行简单的代码完成。爬虫内核有独有的“消息机制”和“URL遍历器”，可完成深网爬取。项目在github上持续更新。
WebCollector 2.x入门教程——基本概念
AJAXHu的专栏
12-25 4503
WebCollector是一个无须配置、便于二次开发的JAVA爬虫框架（内核），它提供精简的的API，只需少量代码即可实现一个功能强大的爬虫。WebCollector-Hadoop是WebCollector的Hadoop版本，支持分布式爬取。
WebCollector教程
09-10
WebCollector教程！
WebCollector入门教程
Vivian Liu的专栏
09-13 3232
WebCollector入门教程 1.将WebCollector导入工程：     进入WebCollector主页：https://github.com/CrawlScript/WebCollector     下载：webcollector-版本号-bin.zip     将解压后文件夹中的所有jar包添加到工程既可。 2.用WebColl
WebCollector入门教程（中文版）
AJAXHu的专栏
08-06 1215
WebCollector爬虫官网：https://github.com/CrawlScript/WebCollector 技术讨论群：250108697 1.将WebCollector导入工程： 进入WebCollector主页：https://github.com/CrawlScript/WebCollector 下载：webcollector-版本号-bin.zip 将解压...
WebCollector初学教程
靠脑袋是真滴记不住啊！！！！！！！！
05-11 1万+
Java开源爬虫框架WebCollector教程——在Eclipse项目中配置使用WebCollector爬虫 by briefcopy · Published 2016年4月25日 · Updated 2016年12月11日 在Eclipse项目中使用WebCollector爬虫非常简单，不需要任何其他的配置，只需要导入相关的jar包即可。 Netbeans、Intellij也是非
Java开源爬虫框架WebCollector 2.x入门教程——基本概念
靠脑袋是真滴记不住啊！！！！！！！！
05-11 1743
Java开源爬虫框架WebCollector 2.x入门教程——基本概念
java版web搜索爬虫系统,Java开源爬虫框架WebCollector教程——爬取搜索引擎
05-30
好的，您想了解关于Java版Web搜索爬虫系统和Java开源爬虫框架WebCollector的教程，主要是如何爬取搜索引擎的内容，对吗？那我来给您介绍一下。 WebCollector是一款Java开源爬虫框架，它基于Jsoup解析库，提供了一...
JAVA爬虫WebCollector 2.x入门教程——基本概念
AJAXHu的专栏
02-16 5871
WebCollector是一个无须配置、便于二次开发的JAVA爬虫框架（内核），它提供精简的的API，只需少量代码即可实现一个功能强大的爬虫。WebCollector-Hadoop是WebCollector的Hadoop版本，支持分布式爬取。目前WebCollector在Github上维护:https://github.com/CrawlScript/WebCollector1.WebCollect
WebCollector爬虫、网页正文提取
02-23
WebCollector爬虫、网页正文提取
webcollector
11-01
爬虫技术相关包， webcollector jar包，爬虫技术相关包， webcollector jar包，爬虫技术相关包， webcollector jar包
WebCollector：WebCollector是基于Java的开源Web爬虫框架。它提供了一些用于爬网的简单界面，您可以在不到5分钟的时间内设置多线程Web爬虫。
02-19
网络收藏家 WebCollector是基于Java的开源Web爬网程序框架。它提供了一些用于爬网的简单界面，您可以在不到5分钟的时间内设置多线程Web爬网程序。 除了通用的搜寻器框架外，WebCollector还集成了CEPF ，这是Wu等人提出的一种精心设计的最新Web内容提取算法： 吴国庆，胡建，李力，徐志，刘PC，胡XG，吴XD。 通过标签路径特征融合的在线Web新闻提取。 阮剑学报/软件学报，2016,27（3）：714-735。 主页 安装 使用Maven < dependency> < groupId>cn.edu.hfut.dmic.webcollector</ groupId> < artifactId>WebCollector</ artifactId> < version>2.73-alpha</ version> </ d
WebCollector:WebCollector是基于Java的开源Web爬网程序框架。-开源
05-15
WebCollector是基于Java的开源Web爬网程序框架。它提供了一些用于爬网的简单界面，您可以在不到5分钟的时间内设置多线程Web爬网程序。 GitHub：https://github.com/CrawlScript/WebCollector演示：https://github.com/CrawlScript/WebCollector/blob/master/YahooCrawler.java
WebCollector-2.71.jar
04-30
WebCollector所使用的jar包，WebCollector-2.71.jar。WebCollector 是一个无须配置、便于二次开发的 JAVA 爬虫框架（内核），提供精简的的 API，只需少量代码即可实现一个功能强大的爬虫。
WebCollector教程——在Eclipse项目中配置使用WebCollector爬虫
AJAXHu的专栏
02-16 7455
WebCollector教程——在Eclipse项目中配置使用WebCollector爬虫
Java爬虫框架WebCollector学习
qq_27081015的博客
10-23 1654
webCollector简介： 1.是一个无须配置、便于二次开发的Java爬虫框架（内核），它提供精简的的 API，只需少量代码即可实现一个功能强大的爬虫。WebCollector-Hadoop 是 WebCollector 的 Hadoop 版本，支持分布式爬取。 2.自带了多线程和URL维护，用户在编写爬虫时无需考虑线程池、URL去重和断点爬取的问题。 3.WebCollector目...
WebCollector 2.x 入门教程
热门推荐
AJAXHu的专栏
08-06 3万+
WebCollector 2.x 入门教程
【转载保存】WebCollector 2.x 入门教程
dreamzuora的博客
11-12 267
https://blog.youkuaiyun.com/ajaxhu/article/details/38406687
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值