python之urllib库

核心的爬虫代码：urlopen.request.urlopen(url,data=None,[timeout,]*,cafile=None,capath=None,cadefault=False,context=None)

函数	说明
urllib.request	请求模块
urllib.error	异常处理模块
urllib.parse	URL解析模块
urllib.robotparser	robots.txt模块

robots.txt是Robots协议，遵循原则：搜索技术应服务于人类，同时尊重信息提供者的意愿，并维护其隐私权；网站有义务保护其使用者的个人信息和隐私不被侵犯。

参数	说明
url	目标资源在网站的位置
data	指明额外的请求信息
timeout	超时时间，秒
cafile/capath/cadefault	实现可信任的CA证书的HTTPS请求
context	实现SSL加密传输

• data参数只在打开htttp网址时起作用，默认为None,以GET发送请求，设置后请求方式改为POST
• data参数必须是bytes对象，符合the standard applocation/x-www-form-urlencoded format标准
• urlib.parse.urlencode()可以将自定义的data转化为标准格式，该函数接受mapping类型参数(dict或两个元素的元组)