本文介绍了Python爬虫的基础知识，包括如何遍历单个域名获取链接，递归获取网页数据，以及使用Scrapy框架简化爬虫开发。通过实例展示了从手动过滤链接到使用Scrapy自动处理的过程，适合初学者入门。
目标捉取网页外链，递归循环实现。
一 遍历单个域名
网页爬虫，就是对目标网页进行捉取，然后遍历到数据信息，然后有链接的继续遍历，如此回调。
第一步：将页面的所有链接获取
运行效果图
发现会存在些没用用的数据，有些href的值只是作为页面块的跳转，我们可以使用正则表达式进行优化过滤掉，只获取带有HTML结尾的链接
第二步：递归获取网页
第一步我们基本把一个网页的所有链接地址获取到，第二步显然是获取这些链接网页的链接，进一步获取这些网页数据。
例如我们在Wiki获取Python词条下面的相关词条的链接，由于存在不是我们关心的链接，所有需要正则表达式过滤掉一部分，然后大量的链接的链接的链接，我们不可能穷尽，所有随机获取一些词条。
运行结果（一分钟150条数据产生，如非手动停止应该不会停止爬取）
最低0.47元/天 解锁文章
扫一扫
758
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
