java 爬虫大型教程（二）

程序员duke

于 2019-01-28 17:35:09 发布

阅读量2.3k

点赞数 3

CC 4.0 BY-SA版权

分类专栏： java 爬虫文章标签： Java爬虫 Java 爬虫 webmagic scrapy

本文链接：https://blog.youkuaiyun.com/u014793102/article/details/86680574

本文是Java爬虫大型教程的第二部分，重点介绍如何编写基本的爬虫。内容涵盖PageProcessor的实现，包括爬虫配置、页面元素抽取（XPath、正则表达式和JsonPath）以及链接发现。还详细讲解了如何使用Selectable接口进行链式元素抽取，及其API的使用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

java 爬虫大型教程（二）

编写基本的爬虫

1. 实现PageProcessor

这部分我们直接通过CdnRepoPageProcessor这个例子来介绍PageProcessor的编写方式。PageProcessor定制分为三个部分，分别是爬虫的配置、页面元素的抽取和链接的发现。

import us.codecraft.webmagic.Page;
import us.codecraft.webmagic.Site;
import us.codecraft.webmagic.Spider;
import us.codecraft.webmagic.processor.PageProcessor;



public class CdnRepoPageProcessor implements PageProcessor {
   
   

    // 抓取网站的相关配置，包括编码、抓取间隔、重试次数等
    private Site site = Site.me().setRetryTimes(3).setSleepTime(100);
    private static int count =0;

    @Override
    public Site getSite() {
   
   
        return site;
    }

    @Override
    // process是定制爬虫逻辑的核心接口，在这里编写抽取逻辑
    public void process(Page page) {
   
   


        page.putField("articleURL",page.getUrl().toString());
        page