python 爬虫添加请求头headers

最新推荐文章于 2024-03-30 19:12:57 发布

原创最新推荐文章于 2024-03-30 19:12:57 发布 · 2.9k 阅读

5 ·

CC 4.0 BY-SA版权

文章标签：

#python #网络 #爬虫

爬虫专栏收录该内容

14 篇文章

订阅专栏

当使用Python进行网页抓取时，可能会遇到403 Forbidden错误，这通常是因为服务器认为请求是爬虫行为。为克服此问题，可以模拟浏览器头部信息，如User-Agent，以伪装成正常浏览器访问。下面的代码展示了如何在Python中使用requests库添加头部信息以成功获取网页内容。执行后，响应状态码200表明请求已成功。

有时候的请求网页内容时，会发现无论通过GET，POST以及其他请求方式，都会出现403错误。这种现象多数为服务器拒绝了您的访问，那是因为这些网站为了防止恶意采集信息，所使用的反爬虫设置。此时可以通过模拟浏览器的头部信息来进行访问，这样就能解决以上反爬设置的问题。代码如下：

import requests

url = 'https://www.baidu.com'#创建需要爬取网页的地址
#创建头部信息
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.66 Safari/537.36'}
response = requests.get(url, headers=headers)#发送网络请求
print(response.status_code)#打印响应状态码 如果等于200说明请求成功