向爬虫迈进（一）

1.
2.
3.
4.
5.
6.URL管理器实现方法：
缓存数据库：大公司，性能高
内存：个人，小公司
关系数据库：永久保存URL数据或节约内存

7.1网页下载器 爬虫核心处理器

7.2两种网页下载器
urlib2:python官方模块
request:第三方模块，更强大
其中：python 3.x中urllib库和urilib2库合并成了urllib库。。

其中urllib2.urlopen()变成了urllib.request.urlopen()

8. 网页下载器实现
8.1.1方法一框架

8.1.2 代码

8.2.1方法二

8.2.2代码

8.3.1方法三
特殊情景分为四种情况：
1.需要用户登录才能够访问的
2.需要代理才能访问的
3.有些网页是使用Https加密访问的
4.有些URl是在自动相互跳转关系

8.3.2代码