WebCollector自定义http请求

最新推荐文章于 2022-12-29 11:51:40 发布

AJAXHu

最新推荐文章于 2022-12-29 11:51:40 发布

阅读量5.3k

点赞数 1

分类专栏： webcollector 文章标签： JAVA爬虫 http请求 post请求

本文链接：https://blog.youkuaiyun.com/AJAXHu/article/details/50674089

版权

WebCollector的http请求由Requester完成，用户可以通过覆盖响应方法实现自定义请求。以下示例展示了如何将部分页面请求方式从GET更改为POST，同时文章呼吁支持WebCollector的开发者工作。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

WebCollector可以自定义http请求，WebCollector的http请求由Requester完成，BreadthCrawler和RamCrawler本身就实现了Requester接口，默认情况下它们使用自身作为Requester。

自定义http请求只要override它们的getResponse方法即可。

下面例子代码演示了如何在WebCollector中将部分页面的http请求方式改为POST方法：

import cn.edu.hfut.dmic.webcollector.model.CrawlDatum;
import cn.edu.hfut.dmic.webcollector.model.CrawlDatums;
import cn.edu.hfut.dmic.webcollector.model.Links;
import cn.edu.hfut.dmic.webcollector.model.Page;
import cn.edu.hfut.dmic.webcollector.net.HttpRequest;
import cn.edu.hfut.dmic.webcollector.net.HttpResponse;
import cn.edu.hfut.dmic.webcollector.plugin.berkeley.BreadthCrawler;
import java.net.Ht