python爬虫urllib加上请求头

「已注销」

于 2024-01-12 10:49:52 发布

阅读量708

点赞数 9

文章标签： python 爬虫开发语言

本文链接：https://blog.youkuaiyun.com/2401_82591739/article/details/135547031

版权

本文介绍了如何在Python中使用urllib.request库发送HTTPS请求，并强调了添加User-Agent的重要性，以解决可能的权限问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

import urllib.request

# 这里是https
url ='https://www.baidu.com'
# 协议（http,https）、主机、端口号、路径、参数、锚点
# http：80 https：443

# 这里失效了，我们加上UA
# response = urllib.request.urlopen(url)
# content= response.read().decode('utf-8')
# print(content)

headers ={
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36'
}
request =urllib.request.Request(url=url,headers=headers)
response = urllib.request.urlopen(request)
content= response.read().decode('utf-8')
print(content)

加上我们的UA：

headers ={
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36'
}

看下效果：