BUG：pymongo.errors.DuplicateKeyError: E11000 duplicate key error collection的原因和解决方案

解决MongoDB_id重复错误
最新推荐文章于 2025-05-15 08:38:50 发布
原创 最新推荐文章于 2025-05-15 08:38:50 发布 · 1w 阅读 · 9 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#scrapy #mongo #pymongo

本文介绍了一种在使用Scrapy向MongoDB存入数据时遇到的_id重复错误，并提供了有效的解决方案。错误出现的原因在于创建字典时位置不当，导致每次循环都传递相同的字典对象给MongoDB。

Error：pymongo.errors.DuplicateKeyError: E11000 duplicate key error collection的原因和解决方案

一. BUG描述：

使用Scrapy把数据添加到mongodb时，无法添加，抛出异常如下：

pymongo.errors.DuplicateKeyError: E11000 duplicate key error collection: mytest.itcast index: _id_ dup key: { : ObjectId('5b8a42825f627d1055ca1640') }

 

二. BUG原因 & 方案：

创建字典时，放在了for循环外。

传递给mongodb的一直是都是同一个dict对象，所以mongo保存时会出现 "_id" 重复的问题。

所以，只需要把 创建的字典 放到循环里面，即可解决。

 

 

--------------------- END ---------------

遇到问题--python--mongodb--pymongo--pymongo.errors.OperationFailure: $not cannot have a regex
直到世界的尽头
12-24 1806
情况 我们有一个 正则匹配的mongodb查询,查询pic_label不包含有冒号的记录，如下： {"pic_label" : {"$not":/:/},"source":"guangxi"} 需要转换成pymongo的查询语句来查询,直接对应翻译成pymongo的语句如下： def find_pic_structures(): pics = [] client = init_mongo_client() db = client['my_pic'] collection =
pymongo.errors.DocumentTooLarge: ‘aggregate‘ command document too large 解决
xu_xiu的博客
07-07 672
还有同事提出，可以将mysql里订单用dict的形式取出，基于hash判断在不在字典里，会快些，虽然判断会快些，但查出mongo所有的数据（300多万条），再进行循环统计电量还是会拉慢速度！因为数据库是基于内存做的，另外还需要扩大buffer"，但这是生产的数据，不能做这种冒失的操作，万一搞崩了，直接凉凉!需求：有个mysql订单库和mongo订单库，mongo里存的订单包含mysql存的订单，目标是统计在mongo里不在mysql里的订单的电量和订单数！没毛病，修改统计程序的代码为分页聚合！
MongoDB报错「E11000 duplicate key error collection」：唯一索引冲突与批量插入的去重策略
最新发布
shejizuopin的博客
05-15 1325
核心治理原则分层防护：在应用层（预处理）、数据库层（唯一索引）和分布式协调层（锁）实现多级去重动态调优：基于监控数据动态调整索引策略与批量操作参数灰度发布：新功能上线前在小流量环境验证唯一键冲突场景。
遇到的坑-pymongo报错：DuplicateKeyError: E11000 duplicate key error collection
菜鸡的博客
04-25 3895
具体报错如下 Traceback (most recent call last): pymongo.errors.DuplicateKeyError: E11000 duplicate key error collection: DDbook.book index: _id_ dup key: { _id: "114" } 错误原因： 在使用pymongo存入数据库时，要写入的主键_id（Mon...
解决scrapy爬虫报错 pymongo.errors.DuplicateKeyError: E11000 duplicate key error collection
热门推荐
小楼一夜听春雨
11-20 5万+
scrapy爬虫报错内容 pymongo.errors.DuplicateKeyError: E11000 duplicate key error collection: scrapy_data.qiushibaike index: id dup key: { _id: ObjectId(‘61989dfcfe585e2673d7ee1b’) }, full error: {‘index’: 0, ‘code’: 11000, ‘keyPattern’: {’_id’: 1}, ’ keyValue’:
pymongo.errors.DuplicateKeyError: E11000 duplicate key error collection: anjuke.ershoufang index
master_ning的博客
07-06 5028
这个bug忙了我一下午加一个晚上，终于把它ko掉了先附上一段爬取安居客二手房信息的代码import reimport timeimport pymongoimport requestsfrom bson import ObjectIdfrom lxml import etreefrom pprint import pprintheaders = {    "User-Agent": "Mozill...
pymongo.errors.ConfigurationError: incompatible_err
Hsiaaa的博客
05-11 1426
解决Pymongo和Server不适配Error DetailsSolutionFailed SolutionSuccess Solution Error Details raise ConfigurationError(self._incompatible_err) pymongo.errors.ConfigurationError: Server at 192.168.0.100:27017 reports wire version 2, but this version of PyMongo requ
python数据存入mongodb需要账号密码的解决方法并同时解决pymongo报错 pymongo.errors.OperationFailure: Authentication failed.
zaishijizhidian的博客
04-25 9989
正确示例如下：import settingimport pymongo def __init__(self): # 链接数据库, 这里只说数据库登录需要帐号密码的情况 self.client = pymongo.MongoClient('mongodb://{0}:{1}@{2}:{3}'.format(settings.MONGO_USER,settings.MO...
解决Mongoose出现MongoServerError: E11000 duplicate key error collection的报错
2301_76272533的博客
07-30 3108
因为是用mongoose开发的嘛，所以我们可以去mongoose文档看看有没有有关这种错误的处理。错误信息的关键信息在于，而当时我是在用Validation给SchemaType做校验，而刚好文档里又说到unique不是一个校验器，那么它必然会给出处理使用unique出现的错误处理。文档给出了当出现了该如何处理，而也是受到这个启发，我就对做了处理。== - 1);});用try catch捕捉异常错误，捕捉到的错误有两种情况：一种是重复键的问题，另一种是mongoose内置的校验器设置的错误。
问题：使用mongo存储数据的时候，出现错误DuplicateKeyError: E11000 duplicate key error collection
CaoMei_HuaCha的博客
03-06 4600
for i in all_data: down_list = [] now_time = utility.get_this_time() for one_data in i: on_list = [] new_list = async_real_time_data(one_data) ...
MongoDB报错：E11000 duplicate key error collection
weixin_43762903的博客
08-03 1万+
在最近做的项目之中，后端数据库部分使用MongoDB。 在使用中发现了如下问题：添加第一条数据时可以正常添加，第二条数据便无法添加。（无论在可视化工具中进行添加或者使用POSTMAN均无法正常添加） 将错误信息打印，如下图所示： 先说一下该条错误的中文意思：就是说该条数据的id_1这个键的值为null，而第一条数据中的id_1已经为null，两条数据出现id重复，因此报错。 出现该条错误的可能原...
[MongoDB]出现E11000 duplicate key error collection: index: mobile（参数）_1 dup key: { mobile：null}
m0_47814717的博客
08-10 2534
Mongodb插入数据，出现E11000 duplicate key error collection: hk-projects.administrator index: mobile_1 dup key: { mobile: null }
MongoError: E11000 duplicate key error collection: blog.users index: email_1 dup key
道阻且长，行则将至。
08-12 751
MongoError: E11000 duplicate key error collection: blog.users index: email_1 dup key 报错如下： 原因：之前在数据库中已经创建了一个email跟这个一样的用户，因此会导致报错。 解决办法：改变一下你现在创建的这个用户的email就OK了 ...
mongodb出现E11000 duplicate key error collection(id重复的解决)
coucouxie的博客
10-10 5802
今天在做一个项目的时候发现，添加信息的时候会报错，但是一直找不到什么原因，一直报错 错误代码: File “D:\Aanconda_install\lib\site-packages\pymongo\helpers.py”, line 198, in _raise_last_write_error raise DuplicateKeyError(error.get("errmsg"), 11000, error) pymongo.errors.DuplicateKeyError: E11000 dupli
pymong 添加唯一索引 pymongo.errors.DuplicateKeyError
qq_41048831的博客
06-29 608
添加索引 ： db.test1.createIndex({name: 1},{unique: true}); #name 为关键词 unique ： 唯一索引 db.test1.getIndexes() #查询索引 python插入重复数据的时候出现 pymongo.errors.DuplicateKeyError 错误。 try: db.test1.save(post) except pymongo.errors.DuplicateKeyError: print(111) ...
org.springframework.dao.DuplicateKeyException: E11000 duplicate key error collection
_夜渐凉
12-06 2081
注意：MongoDB存储一个对象A时 如果对象A里面有一个对象B 而对象B存在只能唯一的字段 会出现报错：duplicate key error collection 解决方法一： 改为存储一个对象B的DTO，只保留所需的字段 注意： 需要删除MongoDB数据库对应的唯一索引，不然会继续报这个错误 ...
mongodb出现E11000 duplicate key error collection(id重复的解决办法)
咖啡的博客
08-14 3万+
解决mongodb id 重复问题 mongodb在插入数据时出现id重复错误,具体错误代码如下: { [MongoError: E11000 duplicate key error collection: zhihu.people index: _id_ dup key: { : ObjectId('59a3b9275f063c20cc8bdec7') }] name: 'MongoE...
pymongo.errors.DuplicateKeyError:E11000 解决方案
wto882dim的博客
03-11 3648
原因:"_id" 重复的问题 创建字典时，放在了for循环外。 传递给mongodb的一直是都是同一个dict对象，所以mongo保存时会出现 "_id" 重复的问题。 所以，只需要把 创建的字典 放到循环里面，即可解决。 ...
那这个呢？ E11000 duplicate key error collection: portal-master.shedLock
05-12
<think>好的，我现在需要帮助用户解决MongoDB中的E11000 duplicate key error错误，特别是在portal-master.shedLock集合中出现的问题。首先，我要理解这个错误的基本含义。E11000错误通常与唯一索引冲突有关，这意味着用户尝试插入或更新一个文档，导致某个字段的值重复，而该字段有唯一性约束。 接下来，用户提到的集合是portal-master.shedLock，这让我联想到分布式锁的实现。通常，shedLock这样的集合用于确保在分布式系统中，同一时间只有一个实例可以执行某个任务。因此，这个集合的结构可能包含锁的名称、持有者、有效期等字段，并且锁名称应该是唯一的，以避免多个实例同时获取同一个锁。 我需要考虑可能的原因。首先，用户可能在没有正确释放锁的情况下，再次尝试获取同一个锁，导致唯一键冲突。其次，可能是索引设置的问题，例如锁名称字段被错误地设置为唯一索引，或者在数据迁移或恢复过程中导入了重复的数据。还有一种可能是应用程序逻辑中的竞态条件，多个实例几乎同时尝试插入同一条锁记录，虽然MongoDB的写入通常是原子的，但在高并发情况下仍有可能出现冲突。 接下来，解决方案方面，我需要分步骤思考。首先，检查集合的索引结构，确认哪些字段设置了唯一约束。用户可以通过db.getCollection('portal-master.shedLock').getIndexes()命令查看索引。如果发现非预期的唯一索引，可能需要删除或修改它。 其次，分析具体的操作日志，找到引发错误的操作。用户可以在MongoDB日志中搜索E11000错误，查看对应的操作详情，比如插入的文档内容和时间戳。这有助于确定是哪个部分的代码或流程导致了重复插入。 然后，优化应用程序的逻辑。例如，在尝试插入锁记录之前，先检查是否存在相同的锁名称，或者使用更新操作而不是插入，如果存在则更新有效期，否则插入新记录。MongoDB的findAndModify命令或updateOne操作符，结合upsert选项，可以原子性地处理这种情况，避免竞态条件。 另外，考虑到shedLock的用途，可能需要调整锁的有效期。如果锁的有效期设置过短，可能在任务还未完成时锁就被释放，其他实例尝试获取同一锁，导致冲突。适当延长锁的有效期，或者确保任务在锁有效期内完成，可以减少这类错误的发生。 对于已经存在的重复数据，用户需要手动清理。可以通过查询重复的锁名称，删除旧记录，保留最新的有效记录。但要注意在清理时确保系统处于安全状态，避免正在使用的锁被误删。 此外，还需要检查应用程序中是否有异常处理机制。当捕获到E11000错误时，应该记录详细信息，并采取重试或回退策略，而不是直接抛出错误导致系统崩溃。 最后，预防措施方面，建议在代码审查和测试阶段加强唯一性约束的检查，使用合适的索引策略，并进行压力测试模拟高并发场景，确保分布式锁机制的健壮性。同时，监控MongoDB的错误日志，及时发现和处理潜在的重复键问题。</think>### MongoDB E11000 duplicate key error 深度解析与解决方案（portal-master.shedLock场景） --- #### 一、错误本质解析 `E11000 duplicate key error` 表示**唯一性约束冲突**，具体到集合`portal-master.shedLock`，说明存在以下情况之一： 1. **重复锁记录插入** 当多个进程/线程尝试同时创建相同名称的分布式锁时触发： ```javascript // 典型shedLock文档结构 { _id: "lock_123", lockUntil: ISODate("2024-01-01T12:00:00Z"), lockedAt: ISODate("2024-01-01T11:55:00Z"), lockedBy: "server-node-01" } ``` `_id`字段默认作为唯一索引，若并发插入相同ID则报错[^1] 2. **索引配置异常** 非`_id`字段被错误添加唯一索引： ```sql > db.getCollection('portal-master.shedLock').getIndexes() [ { "v": 2, "unique": true, // 错误配置 "key": { "lockedBy": 1 }, "name": "lockedBy_1" } ] ``` --- #### 二、核心解决方案（按优先级排序） ##### 方案1：原子性锁操作优化 使用`findAndModify`实现**无冲突锁获取**： ```javascript db.getCollection('portal-master.shedLock').findAndModify({ query: { _id: "lock_123", lockUntil: { $lt: new Date() } // 仅当锁过期时才更新 }, update: { $set: { lockUntil: new Date(Date.now() + 30000), // 30秒有效期 lockedAt: new Date(), lockedBy: "server-node-02" } }, upsert: true, new: true }) ``` **优势**：通过查询-更新原子操作避免竞争条件[^2] ##### 方案2：索引结构修复 检查并删除错误唯一索引： ```sql // 查看索引配置 db.getCollection('portal-master.shedLock').getIndexes() // 删除错误索引 db.getCollection('portal-master.shedLock').dropIndex("lockedBy_1") // 重建正确索引（非唯一） db.getCollection('portal-master.shedLock').createIndex( { lockedBy: 1 }, { unique: false } // 明确指定非唯一 ) ``` ##### 方案3：客户端重试策略 在应用层实现指数退避重试： ```python import time from pymongo import MongoClient, errors def acquire_lock(retries=5): client = MongoClient() collection = client['portal-master']['shedLock'] for attempt in range(retries): try: result = collection.insert_one({ "_id": "lock_123", "lockUntil": datetime.now() + timedelta(seconds=30) }) return True except errors.DuplicateKeyError: wait_time = 2 ** attempt * 0.1 # 指数退避 time.sleep(wait_time) return False ``` --- #### 三、特殊场景处理 ##### 场景1：分布式时钟不同步 当多个节点时钟偏差超过锁有效期时： 1. 使用NTP同步集群时间 2. 在锁有效期计算中加入安全余量： $$ T_{valid} = T_{base} + \delta_{max} + \epsilon $$ 其中： - $T_{base}$ = 预估任务执行时间 - $\delta_{max}$ = 最大时钟偏差（通常设置500ms） - $\epsilon$ = 安全系数（建议100ms）[^3] ##### 场景2：僵尸锁残留 处理未正常释放的锁： ```javascript // 强制释放过期锁 db.getCollection('portal-master.shedLock').deleteMany({ lockUntil: { $lt: new Date() } }) ``` --- #### 四、监控与调试工具 1. **实时锁状态监控** 创建Change Stream监听锁变化： ```javascript const pipeline = [ { $match: { "ns.db": "portal-master", "ns.coll": "shedLock" }} ]; db.getSiblingDB("portal-master").shedLock.watch(pipeline) .on("change", function(change) { printjson(change); }); ``` 2. **死锁检测查询** 查找持有时间过长的锁： ```javascript db.getCollection('portal-master.shedLock').aggregate([ { $project: { lockDuration: { $subtract: [ new Date(), "$lockedAt" ] } } }, { $match: { lockDuration: { $gt: 300000 } } } // 超过5分钟 ]) ``` --- #### 五、最佳实践指南 | 实践方向 | 具体措施 | |-----------------------|--------------------------------------------------------------------------| | 索引设计 | 仅对`_id`保持唯一索引，其他字段使用TTL索引 | | 锁粒度控制 | 根据业务需求拆分锁名称，例如`region=eu_order_lock_123` | | 客户端配置 | 设置合理的socketTimeoutMS（建议≥锁有效期的2倍） | | 日志分析 | 使用MongoDB Atlas的Data Explorer进行错误模式识别 | --- #### 六、相关扩展问题 1. 如何设计高可用的分布式锁服务？ 2. MongoDB的TTL索引在锁机制中的应用限制？ 3. 比较MongoDB与Redis实现分布式锁的优劣？ [^1]: MongoDB官方文档唯一索引约束说明 [^2]: Jepsen测试框架对分布式锁的验证报告 [^3]: Google Spanner TrueTime API设计理念
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值