python读API数据到数据库报错requests.exceptions.ConnectionError

最新推荐文章于 2025-06-13 17:44:56 发布

lin_tuer

最新推荐文章于 2025-06-13 17:44:56 发布

阅读量3.5k

点赞数 1

CC 4.0 BY-SA版权

分类专栏： python 文章标签： python

本文链接：https://blog.youkuaiyun.com/lin_tuer/article/details/78131863

在Python脚本中，作者遇到从API获取数据并存入MySQL数据库时出现`requests.exceptions.ConnectionError`的问题。错误源于可能的HTTP代理服务器不遵循标准或API访问过于频繁。为解决这个问题，作者采取了两种策略：降低访问频率和捕获异常。通过调整代码以捕获该异常，脚本能够继续运行，即使遇到类似问题也能正常处理。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

写一个一个读取API接口数据的Python脚本，收集数据到Mysql数据库中
脚本同学要辛勤地日夜运行，可是，大约三天后，它，，挂了，
查看 Log 日志，发现报了如下错误

requests.exceptions.ConnectionError: HTTPConnectionPool(host='xx.xx.xx.xx', port=8080): Max retries exceeded with url: /myurl (Caused by <class 'httplib.BadStatusLine'>: '')

这里大概是在说

Looking at stack trace you’ve provided your error is caused by httplib.BadStatusLine exception, which, according to docs, is:

Raised if a server responds with a HTTP status code that we don’

最低0.47元/天解锁文章

200万优质内容无限畅学

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

lin_tuer

关注关注

1
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

《Python基础教程》内容总览篇（持续更新中）

weixin_43178406的博客

08-26

30万+

大家好，我是爱编程的喵喵。双985硕士毕业，现担任全栈工程师一职，热衷于将数据思维应用到工作与生活中。从事机器学习以及相关的前后端开发工作。曾在阿里云、科大讯飞、CCF等比赛获得多次Top名次。现为优快云博客专家、人工智能领域优质创作者。喜欢通过博客创作的方式对所学的知识进行总结与归纳，不仅形成深入且独到的理解，而且能够帮助新手快速入门。个人精心开设的《Python基础课程》专栏订阅量接近900，帮助不少同学解决了Bug。

【Python】Python 模块用法：requests 库

顾三殇 —— 博客空间（软件测试）

12-22

448

使用 requests 库实现网络爬虫网络爬虫是通过 HTTP(S) 协议向指定 URL 发送请求，获取响应内容，解析后提取有用的数据并进行处理，最终存储到本地或数据库中。requests 库提供了简洁易用的 API 接口，可以实现网络爬虫的多种功能。例如，使用 get 方法向目标 URL 发送请求获取网页内容，使用 post 方法提交表单数据，使用 put 方法上传文件等等。同时，requests 库还可以设置代理、设置请求头、处理 cookie 等特殊需求。该库也支持多线程请求，操作简单，使用简单。

参与评论您还未登录，请先登录后发表或查看评论

requests.exceptions.ConnectionError: HTTPConnectionPool(host=‘localhost‘, port=8123): Max retries ex

爱在深秋

09-05

5589

这个是因为visdom.server未启动的原因

爬虫.requests.exceptions.ConnectionErro

weixin_33768481的博客

09-21

660

requests.exceptions.ConnectionError: HTTPConnectionPool(host='jy-qj.com.cn', port=80): Max retries exceeded with url: / (Caused by NewConnectionError('<requests.packages.urllib3.connection.HTTPConn...

Python requests库常见报错汇总

最新发布

Take_a_chestnut的博客

06-13

626

requests库是Python中最流行的HTTP客户端库之一，但在使用过程中可能会遇到各种错误。

【笔记】requests.exceptions.ConnectionError: HTTPConnectionPool(host=‘localhost‘, port=8097): Ma

nyist_yangguang的博客

08-11

3702

在训练神经网络时有时需要开启visdom，否则遇到如下提示： requests.exceptions.ConnectionError: HTTPConnectionPool(host='localhost', port=8097): Max retries exceeded with url: /env/main (Caused by NewConnectionError('<urllib3.connection.HTTPConnection object at 0x00000 19B9...

python无法读取hdfs文件的问题:requests.exceptions.ConnectionError: HTTPConnectionPool

shen_ness的博客

09-20

1万+

1.问题一描述：在用python的hdfs库操作HDFS时，可以正常的获取到hdfs的文件目录 from hdfs import * client = Client("http://10.0.30.9:50070") print(client.list('/')) ['test.txt'] 但是在读取文件时，出现了hdfs.util.HdfsError: File /user/dr.wh...

requests.exceptions.ConnectionError: HTTPConnectionPool(host=‘localhost‘, port=8097)

the_ordinary的博客

04-19

2418

requests.exceptions.ConnectionError: HTTPConnectionPool(host='localhost', port=8097): Max retries exceeded with url: /events (由 NewConnectionError('<urllib3.connection.HTTPConnection object at 0x7fd3d47bbdd8>: 无法建立新连接) : [Errno 111] 连接被拒绝',)) 700it [

部署Openstack报错及解决办法

u010310167的博客

08-31

5481

自己在部署K版本和M版本中遇到的一些问题和解决办法整理。

03-13

except requests.exceptions.ReadTimeout: print("请求超时，请检查网络或联系服务提供方") ``` #### 5. **服务器端优化** 若为自建接口，需排查服务器处理逻辑的性能瓶颈（如数据库查询慢、计算密集型任务），...

requests.exceptions.ConnectionError:HTTPSConnectionPool(host

热门推荐

风华浪浪的博客

07-01

11万+

requests.exceptions.ConnectionError: HTTPSConnectionPool(host='127.0.0.1', port=443): Max retries exceeded with url: /?cdn=nohost (Caused by NewConnectionError('<urllib3.connection.VerifiedHTTP...

visdom安装及启动/requests.exceptions.ConnectionError: HTTPConnectionPool(host=‘localhost‘, port=8097): M

qq_42514371的博客

11-13

979

visdom安装及启动/requests.exceptions.ConnectionError: HTTPConnectionPool(host=‘localhost‘, port=8097): M

已解决requests.exceptions.ConnectionError: (‘Connection aborted .’, ConnectionResetError(10054，“远程主机强迫关

努力让自己发光，对的人才能迎着光而来

12-28

6万+

已解决（Python爬虫报错，设置代理ip解决）requests.exceptions.ConnectionError: (‘Connection aborted .’, ConnectionResetError(10054，"远程主机强迫关闭了一个现有的连接。'，None，1656，None)

visdom安装及启动/问题：requests.exceptions.ConnectionError: HTTPConnectionPool(host=‘localhost‘, port=8097)

qq_31244453的博客

03-02

1786

requests 处理异常错误 requests.exceptions.ConnectionError HTTPSConnectionPool [Errno 10060]

wangchaoqi1985的博客

03-05

545

requests 处理异常错误 requests.exceptions.ConnectionError HTTPSConnectionPool [Errno 10060]

visdom安装及启动/requests.exceptions.ConnectionError: HTTPConnectionPool(host='localhost', port=8097): Ma

weixin_43290709的博客

05-05

1万+

python爬虫 requests异常requests.exceptions.ConnectionError: HTTPSConnectionPool Max retries exceeded

小姑仔的博客

06-09

2318

错误提示： requests.exceptions.ConnectionError: HTTPSConnectionPool(host='baike.baidu.com', port=443): Max retries exceeded with url: https://baike.baidu.com/item/%E5%88%98%E5%BE%B7%E5%8D%8E/114923 (Caused by NewConnectionError('<urllib3.connection.Verifie

requests.exceptions.ConnectionError: HTTPConnectionPool(host=‘127.0.0.1‘, port=8000)

weixin_46235937的博客

09-13

7328

在用PyCharm跑网络通信程序时，出现下面的报错： requests.exceptions.ConnectionError: HTTPConnectionPool(host=‘127.0.0.1’, port=8000): Max retries exceeded with url: / (Caused by NewConnectionError(’<urllib3.connection.HTTPConnection object at 0x0000024B409039E8>: Failed

response = requests.get(url)报错requests.exceptions.SSLError:

01-21

### 解决 Python `requests` 库中的 SSLError 当使用 `requests` 发起 HTTPS 请求时，可能会遇到 SSL 错误。以下是几种有效的解决方案： #### 方法一：禁用证书验证通过设置参数 `verify=False` 可以跳过 SSL 证书的验证过程。这适用于开发环境或测试场景，在生产环境中应谨慎使用。 ```python import requests from urllib3.exceptions import InsecureRequestWarning # 禁用警告信息 requests.packages.urllib3.disable_warnings(category=InsecureRequestWarning) response = requests.get('https://example.com', verify=False) print(response.status_code) ``` 这种方法虽然简单直接[^3]，但在实际应用中存在安全隐患，因此建议仅限于特定情况下的临时措施。 #### 方法二：安装额外的安全包为了增强安全性并修复潜在的 SSL 问题，可以安装 `requests[security]` 扩展模块。该扩展包含了必要的安全依赖项，能够有效处理许多常见的 SSL 认证失败问题。 ```bash pip install "requests[security]" ``` 此操作将会自动下载并配置所需的组件，从而提高连接的安全性和稳定性[^1]。 #### 方法三：更新 certifi 包有时 SSL 错误可能是由于本地 CA 证书库过期造成的。可以通过升级 `certifi` 来获取最新的受信任根证书列表。 ```bash pip install --upgrade certifi ``` 完成上述命令后重试原来的 HTTP(S) 请求即可。 #### 方法四：指定自定义CA文件路径如果应用程序运行在一个特殊网络环境下，则可能需要提供一个可信的 CA 文件来替代默认的信任链。 ```python import os import requests ca_path = '/path/to/ca-bundle.crt' if not os.path.exists(ca_path): raise FileNotFoundError(f'Custom CA bundle does not exist at {ca_path}') response = requests.get('https://example.com', verify=ca_path) print(response.status_code) ``` 这种方式允许开发者灵活应对不同部署条件下的需求。