【python爬虫自学记录】【7】-urllib基础,超时设置，自动模拟HTTP请求get请求实战和post请求实战

urllib基础

urlretrieve(网站，本地存储地址)

直接下载网页到本地

import urllib.request

urllib.request.urlretrieve("http://www.baidu.com","D:\\pycharmprojects\\untitled\\dld.html")

urlcleanup()清除缓存

import urllib.request

urllib.request.urlcleanup()

urlinfo()查看网页相应简介信息

file = urllib.request.urlopen("https://www.youkuaiyun.com/")
print(file.info())

getcode（）

返回网页爬取的状态码，可以检测是否是死链，只有200是正常状态

file = urllib.request.urlopen("https://www.youkuaiyun.com/")
print(file.getcode())

geturl()

获取当前访问网页的url
自动爬虫的时候方便查看进行到哪个页面了

file = urllib.request.urlopen("https://www.youkuaiyun.com/")
print(file.geturl