wfj1314的博客

原创 淘宝、天猫爬虫感悟

前期，使用phantomjs模拟爬取，这种方法需要解析浏览器，效率上慢，无法实现高效稳定。            中期，使用scrapy+phantomjs，因为scrapy支持异步传输，效率上有所改善。           后期，直接分析天猫API数据接口，效率大大提高！            爬虫不易，小心掉坑！