用scrapy框架爬取京东商品信息并存入mysql
背景继上篇解决八爪鱼数据采集工具速度慢的问题,八爪鱼免费的自定义模式平均每分钟采集10条数据,而用scrapy则接近100条数据每分钟问题上网找了很多代码,由于没接触过scrapy框架,直接把别人的代码复制到idle运行,但发现并没有执行【解决】:原来网上的代码全都是写了spider类而已,没有执行程序,而scrapy框架需要在python scripts目录下命令行创建项目(只要在安装...
原创
2019-10-31 10:43:40 ·
1257 阅读 ·
1 评论