python爬虫之urllib模块的基本使用

urllib是python自带的基于爬虫的模块，主要使用其中的两个子模块 request和parse

1. request模块的使用

from urllib import request

# 爬取搜狗首页数据
#1 指定url
url = "https://www.sogou.com"

#2 发起请求:urlopen函数可以根据指定的url发起请求，并返回一个响应对象
response = request.urlopen(url=url)

#3 获取页面数据:read函数返回的是响应对象中的页面数据（bytes类型）
info = response.read()

#4 持久化存储
with open("sogou.html", "wb") as obj:
	obj.write(info)

2. parse模块的使用

由于url中不能含有非ASCII编码的字符，否则request发请求时会报错，但有时会出现原始url中含有非ASCII编码的字符的情况，这时就需要使用到parse模块了

from urllib import request, parse

# url = "https://www.sogou.com/web?query=计算机"（这样写解析时会报错）
url = "https://www.sogou.com/web?query="
word = parse.quote("计算机") # 转码操作
url += word # 有效的url
response = request.urlopen(url=url)
info = response.read()
with open("sogou.html", "wb") as obj:
	obj.write(info)

以上是urllib模块的最基本使用，但这些操作都只是针对GET请求的，下面我们就来看看如何发送POST请求。

还有一点需要注意，那就是网站的一些反爬机制，这里说一下User-Agent

有时网站会通过检测请求头中的User-Agent来判断是否是浏览器访问，若没有，则说明是爬虫程序，那么某些内容可能就爬取不到了，针对这种情况，我们就需要进行UA身份伪装

# 以百度翻译为例
import json
from urllib import request, parse

url = "https://fanyi.baidu.com/sug" # 实际访问的真实url

# 请求头信息，这里只写了User_Agent，还可以有其他的设置
headers = {
	"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 "
	"(KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36"
	}
	
data = {"kw": "中国"} # post请求的参数
data = parse.urlencode(data).encode() # 将data字典转换为bytes类型
req = request.Request(url=url, headers=headers) # 自定制请求对象
response = request.urlopen(url=req, data=data) # 将自定制的请求对象以及data传入
info = response.read()
info = json.loads(info) # 反序列化
print(info)

这里的User-Agent可以通过浏览器的抓包工具查看到

真实访问的url

urllib基本地使用就是这么多，欢迎指正