1.2我的第一个反爬

反爬：【用户代理】web开发中，同一个url可以对应若干个不同的页面，后台可以根据前端发起的请求头中的用户代理的不用，决定响应给前端什么样的数据。如果用户代理在判断的时候检测到不是我们制定的那几个用户代理，就可以拒绝客户的访问从而达到反爬的目的。

针对这种反爬可以通过请求头，请求头中设置用户代理从而伪装成浏览器

from urllib import request


url = 'https://www.baidu.com/'
# 创建请求头
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36'
}
response = request.Request(url=url, headers=headers)
res = request.urlopen(response)
print(res.read().decode('utf-8'))

查看网页的请求与响应信息：

1、右击 -> 检查

2、找到network点击

3、重新加载该网页（点击网页左上角的圆圈）

4、找到Name下面的文件点击查看