硬核编程乐乐的博客

目前webmagic最新版是0.7.3版本，在爬取只支持TLS1.2的https站点会报错javax.net.ssl.SSLHandshakeException: Received fatal alert: protocol_versionat java.base/sun.security.ssl.Alert.createSSLException(Alert.java:131) ~[na:na]at java.base/sun.security.ssl.Alert.createSSLExceptio

一.引入依赖pom依赖如下: <dependency> <groupId>com.squareup.okhttp3</groupId> <artifactId>okhttp</artifactId> <version>3.10.0</version> </dependency>二.在resources目录下配置application.propertie

背景:根据webMagic官方文档,定制Pipeline的实现类进行数据库保存爬虫信息的操作,那么这个Pipeline类里头就必须通过@AutoWired注解来调用Service或Dao层,结果这里出现了报错.method=‘null’, extras=null, priority=0, headers={}, cookies={}原因:Spring中，自己亲自通过new从而实例化出来的对象是不被Spring所管理的。在webMagic的官方实例中，如果要将抓取的数据进行保存的话，需要自己创建一个实

参考:https://www.cnblogs.com/hhh5460/p/5079465.html案例:主要问题:要取span标签的value属性值,次要问题:因此我们需要定位到这个标签,但有2个问题,一来是class的属性值对应的标签太多,不能当作定位规则,而id的属性值为不确定的,所以需要starts-with语法.解决:格式:/@属性名例如://span[starts-with(@id,'jq_big_home_')]/@value...

参考:https://segmentfault.com/q/1010000016145426案例:其中,span标签的id属性值是’jq_homeTeam_xxxx’的格式,值为不固定的,我们需要匹配到这类id属性值的span标签.解决:利用xPath的starts-with()函数去匹配格式://标签名[starts-with(@属性名,'属性值中不变的字符串')]例如://span[starts-with(@id,'jq_homeTeam_')/text()]...

本人目前在使用WebMagic爬虫框架，但是根据官方文档来操作，发现使用main方法启动爬虫操作后，重写实现的process方法并未被执行。为此浪费了一上午时间，后来发现是实现类名不一致的问题。就是说，你的实现类名必须为‘GithubRepoPageProcessor’才可以。...