java 爬虫大型教程（二）

最新推荐文章于 2024-06-30 21:32:06 发布

原创

最新推荐文章于 2024-06-30 21:32:06 发布 · 2.3k 阅读

24 ·

CC 4.0 BY-SA版权

文章标签：

#Java爬虫 #Java #爬虫 #webmagic #scrapy

本文是Java爬虫大型教程的第二部分，重点介绍如何编写基本的爬虫。内容涵盖PageProcessor的实现，包括爬虫配置、页面元素抽取（XPath、正则表达式和JsonPath）以及链接发现。还详细讲解了如何使用Selectable接口进行链式元素抽取，及其API的使用。

java 爬虫大型教程（二）

编写基本的爬虫

1. 实现PageProcessor

这部分我们直接通过CdnRepoPageProcessor这个例子来介绍PageProcessor的编写方式。PageProcessor定制分为三个部分，分别是爬虫的配置、页面元素的抽取和链接的发现。

import us.codecraft.webmagic.Page;
import us.codecraft.webmagic.Site;
import us.codecraft.webmagic.Spider;
import us.codecraft.webmagic.processor.PageProcessor;



public class CdnRepoPageProcessor implements PageProcessor {
   
   

    // 抓取网站的相关配置，包括编码、抓取间隔、重试次数等
    private Site site = Site.me().setRetryTimes(3).setSleepTime(100);
    private static int count =0;

    @Override
    public Site getSite() {
   
   
        return site;
    }

    @Override
    // process是定制爬虫逻辑的核心接口，在这里编写抽取逻辑
    public void process(Page page) {
   
   


        page.putField("articleURL",page.getUrl().toString());
        page