博客介绍了URL管理器和网页下载器。URL管理器负责管理待抓取和已抓取的URL集合，防止重复和循环抓取，大型公司用缓存数据库，小型的用Python内存；网页下载器可将互联网上URL对应的网页下载到本地，还提及了Python的网页下载器。
一，URL管理器
1，功能：管理待抓取URL集合和已抓取URL集合
--防止重复抓取，防止循环抓取（如果两个URL互相指向，将造成死循环）
2，实现方式
注：大型公司用的都是缓存数据库（高性能）
MySQL中的is_crawled是判断是否为待爬取的URL
小型的用Python内存即可
二，网页下载器
1，功能：将互联网上URL对应的网页下载到本地的工具
2， Python的网页下载器
扫一扫
2159
评论
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
添加红包
