逆向

爬取豆瓣top250电影保存到MongoDB 使用python scrapy框架 找到https://movie.douban.com/top250 然后在下面点击下一页，发现url有个共同点，只有start的值不断在变， 所以我们可以构造这个参数，因为只有250个电影，分10页，根据url可以得知start每次翻页增加25,所以可以构造为 start_url = [‘https://movie....

第一种，使用spider爬取 首先选择一个初始的小说链接，例如小说第一章的链接https://www.zwdu.com/book/11029/2297440.html 我爬去的是这个网站，链接中的小说 首先，创建一个项目 scrapy startproject novel 创建spider scrapy genspider spider https://www.zwdu.com/book/1102...

一.准备工作 1.Redis数据库及可视化工具 Windows百度网盘链接：https://pan.baidu.com/s/1Wz09FdXN4jWn5I4SRSF5-w 提取码：kxvz 或者https://github.com/microsoftarchive/redis/releases从这里下载自己需要的版本 2.我这里是使用两个linux系统的克隆来做我的Windows系统的Slaver...