爬虫案例-小说网站爬虫开发(单线程&多线程,爬取并文件形式保存在本地)
1.需求分析从http://www.kanunu8.com/book3/6879中爬取所有章节的网址,并将每一章节内容保存在本地文件夹中,一个章节对应一个txt文件。2.相关技术requests获取网页源码正则表达式获取需要的内容文件操作multiprocessing 多线程爬虫3.源代码(可直接执行)import osimport requestsimport reim...
原创
2020-03-28 10:49:00 ·
1792 阅读 ·
1 评论