python requests请求接口返回304问题解决

最新推荐文章于 2025-03-12 06:09:04 发布
原创 最新推荐文章于 2025-03-12 06:09:04 发布 · 2.7k 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python #开发语言

本文介绍了解决Python网络爬虫中遇到304状态码的问题，通过调整请求头中的If-None-Natch和If-Modified-Since字段为空来避免服务器返回304状态码，确保爬虫能够正确抓取网页内容。
部署运行你感兴趣的模型镜像

但是最近在网络爬虫的过程中，发现一个让人头大的问题。Python3使用requests 抓取信息时遇到304状态码。。。这有些让我摸不着头脑，从返回的状态码来看，应该抓取的内容没有抓取到，查询资料得知是由于请求的header中包含以下两个键值对，那么每次请求将这两个值赋值为空解决了问题：If-None-Natch，If-Modified-Since

在这里插入图片描述

headers = {
    "accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9",
    "accept-encoding": "gzip, deflate, br",
    "accept-language": "zh-CN,zh;q=0.9",
    "cache-control": "max-age=0",
    "cookie": "__yjs_duid=1_06d53fe303b699751bfabe6b9489aa101667713733022; Hm_lvt_c59f2e992a863c2744e1ba985abaea6c=1667713735; zkhanecookieclassrecord=%2C68%2C54%2C; Hm_lpvt_c59f2e992a863c2744e1ba985abaea6c=1667713739",
    "if-modified-since": "Fri, 04 Nov 2022 16:27:59 GMT",
    "referer": "https://pic.netbian.com/shoujibizhi/",
    "sec-ch-ua": "\";Not A Brand\";v=\"99\", \"Chromium\";v=\"94\"",
    "sec-ch-ua-mobile": "?0",
    "sec-ch-ua-platform": "\"Windows\"",
    "sec-fetch-dest": "document",
    "sec-fetch-mode": "navigate",
    "sec-fetch-site": "same-origin",
    "sec-fetch-user": "?1",
    "upgrade-insecure-requests": "1",
    "user-agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.71 Safari/537.36 Core/1.94.178.400 QQBrowser/11.2.5170.400",
    'If-None-Natch':'',
    'If-Modified-Since':''
}

在这里插入图片描述

您可能感兴趣的与本文相关的镜像

Python3.11

Python3.11

Conda
Python

Python 是一种高级、解释型、通用的编程语言，以其简洁易读的语法而闻名，适用于广泛的应用，包括Web开发、数据分析、人工智能和自动化脚本

HTTP请求返回304状态码以及研究nginx中的304
念兮为美
02-10 3799
HTTP请求返回304状态码以及研究nginx中的304
解决304状态码问题
我不是码农的博客~~~
11-23 1565
在浏览器第一次请求某一个URL时，服务器端的返回状态会是200，内容是客户端请求的资源，同时有一个Last-Modified的属性标记此文件在服务器端最后被修改的时间。客户端第二次请求此URL时，根据HTTP协议的规定，浏览器会向服务器传送If-Modified-Since报头，询问该时间之后文件是否有被修改过。304 是对客户端有缓存情况下服务端的一种响应。修改headers请求参数。
nodejs写接口测试浏览器请求304缓存
popstarqq的博客
08-09 2239
1 概念和作用 顾名思义 是浏览器将数据暂时缓存在某一位置的方式； 作用:优化浏览器端用户体验的性能；缓存策略是在服务器端设置 通过浏览器缓存策略可以把从服务器请求的数据缓存在浏览器端；再次请求相同数据，不用发送http请求去服务器端获取数据，第一节省带宽，第二 如果数据量大 也能提高用户体验。 对概念的消化必须建立在实际应用之上；杜绝似懂非懂。所以先用nodejs写几个接口进行测试，一睹为快，更有利于理解概念； 2 一睹为快:nodejs写restful接口演示 2.1 新建一...
requests 解决 304代码问题
qq_38393270的博客
01-14 891
解决爬虫请求304代码
python3爬虫-遇到304的解决方式
chong_yun的博客
07-29 5888
爬取中国土地网时出现304情况 304对应描述：客户端已经执行了GET，但文件未变化 这是因为该网站采取了强缓存验证，服务器将要爬取的内容在本地做了缓存， 再次请求的时候，会首先检查本地缓存中是否已存在，如果有就返回304 解决方法： 在requests headers中，禁用删除If - Modified-Since 和If-None-Natch 这两项，服务器是通过检查这两项来判断是否是已经...
Python使用grequests(gevent+requests)并发发送请求过程解析
09-18
3. 并发请求的需求：为了解决效率问题，我们可以采用并发发送请求的方式。并发请求可以在同一时间内发送多个请求，并且可以并行处理响应。这可以显著减少总的响应时间，提高程序的运行效率。 4. 并发技术的选择：...
python+requests接口自动化
03-24
7. **断言验证**：接口自动化测试的关键在于断言，我们需要验证接口返回的数据是否符合预期。Python有许多内置和第三方的断言库，如`unittest`中的`assertEqual`，`assertAlmostEqual`等，可以用来确认响应数据的...
Python requests请求响应以流stream的方式打印输出
人工智能
11-22 5601
Python requests请求响应以流stream的方式打印输出 如果你使用的请求库是requests，那么你必须了解的大模型里的请求怎么响应式的接收并打印出来的。 注意： 1、如果响应内容过大，可能会占用较多内存空间，需要设置合理的chunk_size参数避免内存溢出。 2、如果设置了stream=True，那么不能使用response.text或response.content属性读取响应内容，否则会抛出异常。
在python中使用requests 模拟浏览器发送请求数据的方法
09-19
### 使用Python的Requests库模拟浏览器发送请求数据 在Python中，`requests`库是一个非常流行的HTTP客户端库，它使得向Web服务器发送HTTP请求变得简单易行。本文将详细介绍如何使用`requests`库来模拟浏览器行为，...
python+requests接口自动化框架的实现
12-17
Python结合requests库构建接口自动化测试框架，是一种常见的实践方式，尤其在软件开发和测试领域。接口自动化测试可以提高测试效率，降低人工干预的成本，并确保系统的稳定性。以下将详细阐述该框架的设计理念和实现...
HTTP 返回304
weixin_33915554的博客
11-12 134
304 的标准解释是： Not Modified 客户端有缓冲的文档并发出了一个条件性的请求（一般是提供If-Modified-Since头表示客户只想比指定日期更新的文档）。服务器告诉客户，原来缓冲的文档还可以继续使用。 如 果客户端在请求一个文件的时候，发现自己缓存的文件有 Last Modified ，那么在请求中会包含 If Modified Since ，这个时间就是缓存文件的 Last...
http状态码
weixin_30588827的博客
06-08 234
常见的http状态码 1开头的http状态码 表示临时响应并需要请求者继续执行操作的状态代码。 100 （继续） 请求者应当继续提出请求。 服务器返回此代码表示已收到请求的第一部分，正在等待其余部分。 101 （切换协议） 请求者已要求服务器切换协议，服务器已确认并准备切换。 2开头的http状态码 表示请求成功 200 成功处理了请求，一般情况下都是返回此状态码。 201 请求成功并且服务器创...
理解HTTP缓存和304状态码
热门推荐
不能说的秘密的博客
07-30 4万+
最近研究nginx日志的时候，对于304这个状态码产生了好奇。之前一直知道3XX系列的状态码表示重定向，但对于304的具体原理没有仔细研究过。304 的标准解释是：客户端有缓冲的文档并发出了一个条件性的请求。服务器告诉客户端，原来缓冲的文档还可以继续使用。完成这个几个动作包括服务器确认返回304给予客户端，主要包含几个http头信息，请求头If-None-Match、响应头ETag和响应头Cache
304 code
sanlyshi's front-end road
04-01 2454
第一次访问 200 鼠标点击二次访问 (Cache) 按F5刷新 304 按Ctrl+F5强制刷新 200 在客户端向服务端发送http请求时，若返回状态码为304 Not Modified 则表明此次请求为条件请求。在请求头中有两个请求参数：If-Modified-Since 和 If-None-Match。 当客户端缓存了目标资源但不确定该缓存资源是...
接口304 Not Modified
weixin_44283589的博客
11-22 4513
这意味着客户端已经缓存了该资源，并且该资源未被修改。服务端会比较这两个参数与资源的最后修改时间和ETag值，如果匹配，则返回304状态码，否则返回200状态码和新的资源内容。举个例子，如果客户端已经缓存了一个网页，当用户再次访问该网页时，客户端会向服务端发送一个条件请求，请求头中包含If-Modified-Since和If-None-Match参数。如果服务端检测到该网页未被修改，则返回304状态码，客户端会使用缓存中的资源，否则返回200状态码和新的网页内容。
python3使用requests抓取信息时遇到304状态码的应对方法
Python654的博客
05-07 2719
接触过网络爬虫的小伙伴们应该都知道requests库，这个是一个非常实用，而且容易上手的爬虫库，相比于Python自带的urllib库来说，这个requests库真的非常讨人喜欢，小编也非常的喜欢用它。 但是最近在网络爬虫的过程中，发现一个让人头大的问题。Python3使用requests 抓取信息时遇到304状态码。。。这有些让我摸不着头脑，从返回的状态码来看，应该抓取的内容没有抓取到，查...
Fiddler抓包返回HTTP状态码304
Jackfruit_的博客
09-09 2161
使用Fiddler进行抓包时，为了避免请求的数据加载本地缓存资源，返回HTTP 304状态码。测试前不仅需要在Fiddler界面进行去缓存刷新，同时也需要在浏览器中进行相应的操作（去缓存刷新），确保抓取的数据都是从服务器加载最新的资源，不受缓存影响，从而获得准确的测试结果。注意事项：Fiddler安装和使用的时候需要关闭杀毒软件！
Python | Leetcode Python题解之第304题二维区域和检索-矩阵不可变
Mopes__的博客
07-30 488
Python | Leetcode Python题解之第304题二维区域和检索-矩阵不可变
python爬虫乱码和返回304解决方法
qq_53916719的博客
03-12 1139
304 Not Modified 表示客户端发送了一个带有条件的 GET 请求（例如包含 `If-Modified-Since` 或 `If-None-Match` 头部信息），服务器检查后发现资源自上次请求以来未发生变化。- 缓存机制：浏览器或客户端通常会在本地缓存资源，并在后续请求中通过 `If-Modified-Since` 或 `If-None-Match` 头部信息告知服务器资源的最后修改时间或ETag值。这里主要说返回值全是乱码的问题，如果出现这种情况全是乱码的样子，就很可能是压缩的问题。
python requests请求接口但返回的是页面
最新发布
11-19
<think> 我们面对的问题是：用户使用Python的requests库请求接口时，期望返回的是接口数据（通常是JSON格式），但实际上却返回了HTML页面（即网页内容）。这通常发生在请求需要身份验证的API，或者请求参数不正确导致服务器返回错误页面时。 根据引用内容： - 引用[1]提到POST请求用于提交数据（如登录信息），而GET请求用于获取数据。 - 引用[2]和[3]分别展示了如何使用requests库发送GET请求和处理响应。 可能的原因及解决方案如下： 1. **URL错误**：可能请求的URL并不是真正的API地址，而是网页地址。需要确认API的URL是否正确。 - 解决方案：检查URL，确保是接口地址而非页面地址。 2. **请求方法错误**：有些接口要求使用POST方法，但使用了GET，或者相反。 - 解决方案：根据接口文档，使用正确的请求方法（GET、POST等）。 3. **缺少请求参数**：接口可能需要特定的参数（如查询参数、表单数据、JSON数据等）才能返回正确的数据。 - 解决方案：检查接口文档，提供必要的参数。例如，使用`params`传递查询字符串，使用`data`或`json`传递请求体。 4. **缺少请求头**：有些接口要求特定的请求头（如`Content-Type`、`Authorization`等）。 - 解决方案：设置正确的请求头。例如，对于JSON数据，设置`headers={'Content-Type': 'application/json'}`；对于需要登录的接口，可能需要设置`Authorization`头。 5. **身份验证问题**：接口可能需要登录或令牌（token）才能访问。 - 解决方案：先获取token（通常通过登录接口），然后在后续请求中带上token（如在请求头中设置`Authorization: Bearer <token>`）。 6. **重定向问题**：服务器可能将请求重定向到了登录页面或其他页面。 - 解决方案：禁止重定向，通过设置`allow_redirects=False`，然后检查响应状态码和响应头中的位置。 7. **Cookies问题**：有些接口需要维持会话（session），即使用相同的会话对象发送请求以保持cookies。 - 解决方案：使用`requests.Session()`来保持会话。 8. **服务器错误**：服务器端的问题导致返回错误页面。 - 解决方案：检查服务器状态，或者联系API提供方。 **步骤建议：** 1. 首先，使用浏览器开发者工具（Network面板）或抓包工具（如Fiddler、Charles）观察正常请求的详细信息（URL、方法、请求头、请求体等）。 2. 在代码中模拟这些信息。 **代码示例：** 假设我们需要通过POST请求登录获取token，然后使用token访问另一个接口： ```python import requests # 登录获取token login_url = "https://example.com/api/login" data = {"username": "your_username", "password": "your_password"} response = requests.post(login_url, json=data) if response.status_code == 200: token = response.json().get("token") else: print("登录失败:", response.text) exit() # 使用token请求目标接口 api_url = "https://example.com/api/data" headers = {"Authorization": f"Bearer {token}"} params = {"page": 1} # 如果有查询参数 response = requests.get(api_url, headers=headers, params=params) # 检查响应是否是JSON if response.headers.get('Content-Type') == 'application/json': data = response.json() print(data) else: print("返回的不是JSON，可能是页面：") print(response.text) # 打印出来查看原因 ``` **注意事项：** - 如果返回页面，打印响应文本（`response.text`）有助于分析原因（比如可能是登录过期、权限不足等）。 - 设置超时和异常处理。 如果上述方法仍不能解决问题，请提供更多信息，如具体的URL、请求代码和返回内容（可隐藏敏感信息），以便进一步分析。 </think> ### Python requests库请求接口返回页面的解决办法 当使用Python requests库调用接口时，预期返回JSON数据却得到HTML页面，通常由以下几个原因导致： #### 1. **URL错误**（最常见原因） - 接口URL与页面URL混淆 - 解决方案： ```python # 错误：请求了页面URL # response = requests.get("https://example.com/user/profile") # 正确：确认API端点URL（通常包含/api/路径） response = requests.get("https://example.com/api/user/profile") ``` 验证方法：使用浏览器开发者工具 > Network标签查看实际API请求地址 #### 2. **缺少身份验证** - 接口需要认证但未提供凭证 - 解决方案： ```python # 添加认证头（根据API要求选择方式） headers = { "Authorization": "Bearer your_token_here", # JWT模式 # "X-API-Key": "your_api_key" # API Key模式 } response = requests.get(api_url, headers=headers) # 或使用会话保持cookies with requests.Session() as s: s.post(login_url, data={"user":"name", "pass":"word"}) response = s.get(api_url) ``` #### 3. **请求方法错误** - 误用GET代替POST或其他方法 - 解决方案： ```python # 明确指定请求方法（GET/POST/PUT/DELETE） data = {"key": "value"} response = requests.post(api_url, json=data) # 提交JSON数据 # response = requests.post(api_url, data=data) # 提交表单数据 ``` #### 4. **未设置内容协商头** - 服务器根据Accept头返回不同格式 - 解决方案： ```python headers = { "Accept": "application/json", # 明确要求JSON "Content-Type": "application/json" } response = requests.get(api_url, headers=headers) ``` #### 5. **参数传递错误** - 参数未正确附加到请求中 - 解决方案： ```python # 查询参数（GET） params = {"page": 1, "limit": 20} response = requests.get(api_url, params=params) # 请求体参数（POST） payload = {"query": "SELECT * FROM table"} response = requests.post(api_url, json=payload) ``` #### 6. **重定向问题** - 请求被重定向到登录页 - 解决方案： ```python # 禁止重定向并检查响应 response = requests.get(api_url, allow_redirects=False) if response.status_code == 302: print("需要先登录，重定向到:", response.headers['Location']) ``` #### 诊断流程： 1. 检查响应状态码：`print(response.status_code)` 2. 查看响应头：`print(response.headers)` 3. 解析响应内容： ```python if 'text/html' in response.headers.get('Content-Type', ''): print("收到HTML页面，请检查：") print(response.text[:500]) # 打印部分内容分析 else: data = response.json() ``` > **经验提示**：使用`curl`命令模拟请求可快速验证问题： > ```bash > curl -i -H "Accept: application/json" https://api.example.com/endpoint > ```
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

西门一刀

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值