qq_42897733的博客

使用webmagic+Selenium爬取小说1.添加依赖2.修改 webmagic-selenium 包中的WebDriverPool 和 SeleniumDownloader3.实现代码3.1.SeleniumDownloader3.2.爬取业务规则3.3.处理规则（输出到文件）4.运行结果优点：自动爬取，不会爬取到重复数据。缺点：爬取速度极慢。1.添加依赖 <!-- selenium-java客户端段 --> <dependency> <groupId

webmagic抓取分页数据：pom文件： <!--webmagic 核心包--> <dependency> <groupId>us.codecraft</groupId> <artifactId>webmagic-core</artifactId> <version>0.7.3</version> </dependency> <!-- webmagic 扩