WebCollector内核开发——定制Http请求

最新推荐文章于 2022-12-29 11:51:40 发布

AJAXHu

最新推荐文章于 2022-12-29 11:51:40 发布

阅读量3.6k

点赞数

分类专栏： webcollector 文章标签： JAVA爬虫

本文链接：https://blog.youkuaiyun.com/AJAXHu/article/details/50699500

版权

本教程介绍了如何在WebCollector 2.27及以上版本中定制Http请求，包括在BreadthCrawler插件中添加Cookie、UserAgent等头部信息。对于更深度的定制，可以通过创建自己的Executor利用HttpClient。此外，还讲解了使用Selenium进行网页爬取以获取JS加载的信息。最后，鼓励喜欢WebCollector的用户通过捐款支持项目维护。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

本教程适用于WebCollector 2.27版本或更高。

在WebCollector中，使用最多的爬取器应该是BreadthCrawler，BreadthCrawler是用WebCollector的内核开发的一个插件，并不属于内核。

如果只是简单定制Http请求，例如加入Cookie、UserAgent等Http头，使用POST操作等，使用BreadthCrawler插件即可完成，可以参考教程WebCollector自定义http请求。

对于一些需要深度定制Http请求的用户，基于WebCollector的内核进行开发是一个不错的选择。基于内核的开发并不难，用户只要自己定义一个Executor即可，下面的例子使用HttpClient定制WebCollector的Http请求：

import cn.edu.hfut.dmic.webcollector.crawldb.DBManager;
import cn.edu.hfut.dmic.webcollector.crawler.Crawler;
import cn.edu.hfut.dmic.webcollector.fetcher.Executor;
import cn.edu.hfut.dmic.webcollector.model.CrawlDatum;
import cn.edu.hfut.dmic.webcollector.model.CrawlDatums;
import cn.edu.hfut.dmic.webcollector.plugin.berkeley.BerkeleyDBManager;
import cn.edu.hfut.dmic.webcollector.util.CharsetDetector;
import org.apache.http.HttpEntity;
import org.apache.http.HttpResponse;
import org.apache.http.client.methods.HttpGet;
import org.apache.http.impl.client.CloseableHttpClient;
import org.apache.http.impl.client.HttpClients;
import org.apache.http.util.EntityUtils;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;


/**
 * Created by hu on 2016/2/19.
 * 该教程为W

最低0.47元/天解锁文章