scrapy+selenuim中间件爬取京东图书有详细思考过程(涉及较广适合练手)
网上很多版本的爬取京东图书都失效了
现在这个版本是能运行的截至到编辑的日期的前后(往后不敢保证)
下面就来看看吧
gitee仓库网址:https://gitee.com/cc2436686/jd_book_spider (有详细注释和思考过程)
首先看看我们要爬取的页面
https://book.jd.com/booksort.html
然后用request直接请求在对返回结果进行关键字匹配
好了接下来就转向目标去按f12抓包去
可以看出这个接口就包含了我们想要的内...
原创
2020-11-29 10:12:44 ·
1394 阅读 ·
2 评论