爬虫（一）：python requests库模拟浏览器请求网页

最新推荐文章于 2025-05-19 16:24:23 发布

原创最新推荐文章于 2025-05-19 16:24:23 发布 · 5.4k 阅读

10 ·

CC 4.0 BY-SA版权

文章标签：

#python #爬虫 #开发 #网络请求

本文介绍了一种解决爬虫请求中遇到的403 Forbidden错误的方法，通过模拟谷歌浏览器发送请求，成功获取了目标网站的数据，适用于需要绕过简单访问限制的场景。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在大家用爬虫请求数据时会有一下情况，或者直接的403，这是读取访问被禁止！

<html>
<head><title>403 Forbidden</title></head>
<body>
<center><h1>403 Forbidden</h1></center>
<hr><center>nginx</center>
</body>
</html>

这时我们需要模拟浏览器来请求（我使用的是谷歌）
在这里插入图片描述

import requests

url = 'http://www.whatismyip.com'  #请求地址

headers = {'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.131 Safari/537.36'}#创建头部信息


response =  requests.get(url,headers = headers)  #发送网络请求


print(response.content.decode('utf-8'))#以字节流形式打印网页源码

这里我请求的这个网址是来测IP的网址