小白写爬虫

写的第一个爬虫，基本思路：

定义 pageMax 方法 获取整体数据信息，最大页数

定义 request的方法获取单页数据

定义parse方法分析单页数据，提取items，存储在生成器yield中

定义search方法循环获取数据，保存在本地

 

 

 

另外，通过history文件记录抓取历史

saveImg对文件是否已存在做判断

转载于:https://www.cnblogs.com/huhume/p/9339600.html