webmagic循环爬取

最新推荐文章于 2022-08-30 17:01:58 发布

weixin_30776545

最新推荐文章于 2022-08-30 17:01:58 发布

阅读量664

点赞数

CC 4.0 BY-SA版权

文章标签：操作系统

原文链接：http://www.cnblogs.com/wf1647790534/p/9802882.html

本文介绍了一个小型爬虫如何通过循环过程自动抓取列表页和文章页的内容，详细解释了PageProcess中使用if条件判断进行页面类型识别的方法，以及如何设置网站抓取配置。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.第一个小爬虫只能爬取指定的列表页的文章，接下来要自动爬取每一列表页的文章

2.循环爬取process是会循环运行的。其中的循环并不是for循环，而是利用if

public void process(Page page) {
    //列表页
    if (page.getUrl().regex(URL_LIST).match()) {
        System.out.println("列表页"); 
/*从页面发现后续的url地址来抓取
.xpath("//@href")  //提取链接
.regex(".*blog.*") //正则匹配过滤*/
page.addTargetRequests(page.getHtml().xpath("//div[@class=\"articleList\"]").links().regex(URL _POST).all());
        page.addTargetRequests(page.getHtml().links().regex(URL_LIST).all());
        //文章页
    }
else {
        System.out.println("文章页");
//抓取文章页内容
        page.putField("title", page.getHtml().xpath("//div[@class='articalTitle']/h2"));
   
  }

3.PageProcess中的site方法是抓取网站的相关配置，包括编码、抓取间隔、重试次数等

.me()
.setDomain("www.ccgp-hebei.gov.cn")
.setSleepTime(3000)
.setUserAgent(
        "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_2) AppleWebKit/537.31 (KHTML, like Gecko) Chrome/26.0.1410.65 Safari/537.31");

转载于:https://www.cnblogs.com/wf1647790534/p/9802882.html