WebCollector自定义http请求

最新推荐文章于 2022-12-29 11:51:40 发布

原创

最新推荐文章于 2022-12-29 11:51:40 发布 · 5.5k 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#JAVA爬虫 #http请求 #post请求

WebCollector的http请求由Requester完成，用户可以通过覆盖响应方法实现自定义请求。以下示例展示了如何将部分页面请求方式从GET更改为POST，同时文章呼吁支持WebCollector的开发者工作。

WebCollector可以自定义http请求，WebCollector的http请求由Requester完成，BreadthCrawler和RamCrawler本身就实现了Requester接口，默认情况下它们使用自身作为Requester。

自定义http请求只要override它们的getResponse方法即可。

下面例子代码演示了如何在WebCollector中将部分页面的http请求方式改为POST方法：

import cn.edu.hfut.dmic.webcollector.model.CrawlDatum;
import cn.edu.hfut.dmic.webcollector.model.CrawlDatums;
import cn.edu.hfut.dmic.webcollector.model.Links;
import cn.edu.hfut.dmic.webcollector.model.Page;
import cn.edu.hfut.dmic.webcollector.net.HttpRequest;
import cn.edu.hfut.dmic.webcollector.net.HttpResponse;
import cn.edu.hfut.dmic.webcollector.plugin.berkeley.BreadthCrawler;
import java.net.HttpURLConnection;