python开发简单爬虫——笔记（更新中）

爬虫：自动访问互联网并提取数据的程序

爬虫调度端：启动爬虫、停止爬虫、监视爬虫的运行情况
1.Url管理器：管理将要爬取的url和已经爬取的url。将待爬取的url传送给网页下载器。（防止重复抓取，循环抓取）（实现方式：内存；关系数据库；缓存数据库）

2.网页下载器：将Url指定的网页下载下来，保存为一个字符串。将这个字符串传送给网页解析器进行解析。（python网页下载器：urllib）
urllib方法1

import urllib.request
#直接请求
response=urllib.request.urlopen('http://www.baidu.com/')
#获取状态码，如果是200则表示成功
print(response.getcode())
#读取内容
cont=response.read()

urllib方法2

import urllib.request
#创建request对象
request=urllib.request.Request('http://www.baidu.com/')
#添加数据