使用WebMagic进行java爬虫的总结

原创

已于 2023-03-29 08:13:18 修改 · 1.6k 阅读

5 ·

CC 4.0 BY-SA版权

文章标签：

#爬虫 #java #开发语言

于 2022-03-01 12:50:11 首次发布

WebMagic介绍

WebMagic项目代码分为核心和扩展两部分。核心部分(webmagic-core)是一个精简的、模块化的爬虫实现，而扩展部分则包括一些便利的、实用性的功能。WebMagic的架构设计参照了Scrapy，目标是尽量的模块化，并体现爬虫的功能特点。

这部分提供非常简单、灵活的API，在基本不改变开发模式的情况下，编写一个爬虫。

扩展部分(webmagic-extension)提供一些便捷的功能，例如注解模式编写爬虫等。同时内置了一些常用的组件，便于爬虫开发。
WebMagic的中文文档

使用过程中的知识总结

1. 只能爬取`http`无法爬取`https`

参考博客（方案一：修改源码，方案二：nginx反向代理）
对于方案二，对nginx进行配置即可

server {
   
   
    listen       8808;
    # server_name  partner.domain.com; #可以不设置server_name，修改端口号后直接通过localhost:端口号 进行访问。
    #如果要设置server_name  则需要在hosts中进行配置

      location / {
   
   
          proxy_set_header Host github.com;
          proxy_pass https://github.com/;
      }
}

现在通过http://localhost:8808/即可访问到https://github.com/

2. 设置Cookie模拟登陆

由于爬取的网页需要对登陆进行验证，所以可以使用Cookie进行模拟登陆。

2.1. 如何在代码中设置Cookie

参考WebMagic的中文文档中的《4.4 爬虫的配置、启动和终止》

2.2. 如何查看那个Cookie是登录需要的

可以打开浏览器的设置，查看“Cookie 和已存储数据”,在设置中移除相关值之后，网页需重新登录的值则为登录所需的。（排查后发现是key=session）

3. 正则表达式

3.1. 简介

正则表达式，又称规则表达式。（英语：Regular Expression，在代码中常简写为regex、regexp或RE），计算机科学的一个概念。正则表达式通常被用来检索、替换那些符合某个模式(规则)的文本。

3.2. 该项目中所用到的


\w	匹配字母、数字、下划线。等价于 [A-Za-z0-9_]
\w-	匹配字母、数字、下划线。等价于 [A-Za-z0-9_] (外加减号)
+	匹配前面的子表达式一次或多次(大于等于1次）。例如，“zo+”能匹配“zo”以及“zoo”