MongoDB 查询游标超时

最新推荐文章于 2025-06-10 09:00:14 发布

木下瞳

最新推荐文章于 2025-06-10 09:00:14 发布

阅读量1.6k

点赞数

CC 4.0 BY-SA版权

分类专栏：数据库文章标签： mongodb 数据库 database

本文链接：https://blog.youkuaiyun.com/zjkpy_5/article/details/124772811

数据库专栏收录该内容

18 篇文章

订阅专栏

针对MongoDB游标超时和大量数据读取问题，通过设置`no_cursor_timeout=True`防止游标超时，并使用`batch_size(5000)`分批读取和处理数据，实现了稳定的数据迁移。这种方法虽然增加IO时间，但能有效处理几百万条记录而不出错。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

背景

mongo 里面有 4000w 数据，数据量很大，需要 python 读取清洗处理，插入 mysql 里面，但在读的时候会存在游标超时，还有数据量太大读不出来，直接读是读不了的。

解决办法

在网上先找了游标超时解决办法，大部分都是这样说的：

4种方法解决MongoDB游标超时的问题 | 谢乾坤 | Kingname

但我还有数据量太大读不出来的问题，集合游标超时一起解决的 python 代码：

import pymongo

 # 连接 mongo 的 年度数据集合
 client = pymongo.MongoClient(host='localhost', port=27017)
 db = client.D
 collection = db['D']

count = 0 # 计数
for item in collection.find({},{'_id':0,},no_cursor_timeout=True).batch_size(5000): 
        
    '''
    处理每一个 item 字典
    '''

no_cursor_timeout=True：设置游标不超时

batch_size(5000)：每次读 5000 条

这样写虽然会增加 io 时间，见上面链接里面的解说，但相对较为稳定，可以依次处理数据，我运行了一个下午，处理了几百万数据都没有问题。