from urllib.request import urlopen
from urllib.request import Request
url ='http://www.baidu.com/'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3573.0 Safari/537.36'
}
#加入请求头
request=Request(url,headers=headers)
#访问的时候加入请求头信息
response =urlopen(url)
info =response.read()
print(info.decode())
访问一个页面的时候不能总是蟒蛇什么什么的,就告诉别人你是爬虫,别人不封你才怪,所以我们加下请求设备头,这个在哪里呢?

本文介绍如何使用Python的urllib库抓取网页内容,并通过添加请求头来模拟浏览器访问,避免被目标网站封禁。文章详细展示了代码实现过程。
2778

被折叠的 条评论
为什么被折叠?



