python操作mysql数据库cursor导致oom处理方法

最新推荐文章于 2025-07-09 17:48:15 发布

置顶会不会依然想起我a

最新推荐文章于 2025-07-09 17:48:15 发布

阅读量1.9k

点赞数

CC 4.0 BY-SA版权

分类专栏： mysql python

本文链接：https://blog.youkuaiyun.com/qq_27563511/article/details/80747396

python 同时被 2 个专栏收录

36 篇文章

订阅专栏

mysql

7 篇文章

订阅专栏

在Python操作MySQL数据库时，使用默认cursor处理大量数据可能导致内存溢出。为解决此问题，可以采用pymysql的SSCursor或SSDictCursor，实现流式游标，逐行读取数据，减少内存占用。但要注意，使用SSCursor时，同一连接只能处理一个查询，且读取数据需在60s内完成，否则会触发连接断开或超时。设置NET_WRITE_TIMEOUT可调整超时时间。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

当使用sql查询的结果有非常多行时，如果使用默认的cursor，你的程序在接受数据的的时候很可能卡住或者被杀死，原因是mysql客户端（Java，Pyhton）默认在内存里缓存下所有行然后再处理，如果内存溢出后，你的程序就会被杀死。

解决方式是实用流式游标，在Python中，你可以使用pymysql.cursors.SSCursor（或者SSDictCursor）来解决这个问题

import MySQLdb.cursors

connection=MySQLdb.connect(host="thehost",user="theuser",passwd="thepassword",db="thedb",cursorclass = MySQLdb.cursors.SSCursor)

cursor=connection.cursor()

cursor.execute(query)

for row in cursor:

print(row)

需要注意的是

1.因为SSCursor是没有缓存的游标,结果集只要没取完，这个conn是不能再处理别的sql，包括另外生成一个cursor也不行的。
如果需要干别的，请另外再生成一个连接对象。如果并行使用这个conn的话，你会遇到 error 2014 , "Commands out of sync; you can't run this command now."
2. 每次读取后处理数据要快，不能超过60s，否则mysql将会断开这次连接，也可以修改 SET NET_WRITE_TIMEOUT = xx 来增加超时间隔。