BUG：pymongo.errors.DuplicateKeyError: E11000 duplicate key error collection的原因和解决方案

最新推荐文章于 2025-05-15 08:38:50 发布
原创 最新推荐文章于 2025-05-15 08:38:50 发布 · 1w 阅读 · 9 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#scrapy #mongo #pymongo

本文介绍了一种在使用Scrapy向MongoDB存入数据时遇到的_id重复错误，并提供了有效的解决方案。错误出现的原因在于创建字典时位置不当，导致每次循环都传递相同的字典对象给MongoDB。

Error：pymongo.errors.DuplicateKeyError: E11000 duplicate key error collection的原因和解决方案

一. BUG描述：

使用Scrapy把数据添加到mongodb时，无法添加，抛出异常如下：

pymongo.errors.DuplicateKeyError: E11000 duplicate key error collection: mytest.itcast index: _id_ dup key: { : ObjectId('5b8a42825f627d1055ca1640') }

 

二. BUG原因 & 方案：

创建字典时，放在了for循环外。

传递给mongodb的一直是都是同一个dict对象，所以mongo保存时会出现 "_id" 重复的问题。

所以，只需要把 创建的字典 放到循环里面，即可解决。

 

 

--------------------- END ---------------

遇到问题--python--mongodb--pymongo--pymongo.errors.OperationFailure: $not cannot have a regex
直到世界的尽头
12-24 1805
情况 我们有一个 正则匹配的mongodb查询,查询pic_label不包含有冒号的记录，如下： {"pic_label" : {"$not":/:/},"source":"guangxi"} 需要转换成pymongo的查询语句来查询,直接对应翻译成pymongo的语句如下： def find_pic_structures(): pics = [] client = init_mongo_client() db = client['my_pic'] collection =
pymongo.errors.DocumentTooLarge: ‘aggregate‘ command document too large 解决
xu_xiu的博客
07-07 672
还有同事提出，可以将mysql里订单用dict的形式取出，基于hash判断在不在字典里，会快些，虽然判断会快些，但查出mongo所有的数据（300多万条），再进行循环统计电量还是会拉慢速度！因为数据库是基于内存做的，另外还需要扩大buffer"，但这是生产的数据，不能做这种冒失的操作，万一搞崩了，直接凉凉!需求：有个mysql订单库和mongo订单库，mongo里存的订单包含mysql存的订单，目标是统计在mongo里不在mysql里的订单的电量和订单数！没毛病，修改统计程序的代码为分页聚合！
遇到的坑-pymongo报错：DuplicateKeyError: E11000 duplicate key error collection
菜鸡的博客
04-25 3895
具体报错如下 Traceback (most recent call last): pymongo.errors.DuplicateKeyError: E11000 duplicate key error collection: DDbook.book index: _id_ dup key: { _id: "114" } 错误原因： 在使用pymongo存入数据库时，要写入的主键_id（Mon...
MongoDB报错「E11000 duplicate key error collection」：唯一索引冲突与批量插入的去重策略
最新发布
shejizuopin的博客
05-15 1324
核心治理原则分层防护：在应用层（预处理）、数据库层（唯一索引）和分布式协调层（锁）实现多级去重动态调优：基于监控数据动态调整索引策略与批量操作参数灰度发布：新功能上线前在小流量环境验证唯一键冲突场景。
MongoDB 在 upsert=True 时，filter和唯一键一致，并发情况下会报错：E11000 duplicate key error collection 怎么解决？
jiangbo721的博客
01-11 1766
但是在高并发的情况下，我们会有多个服务同时更新同一个collection，操作都是update_one + upsert=true 来完成的，但是每隔一段时间，服务就会报错，提示 E11000 duplicate key error collection。我已经创建了一个复合索引，并使用搜索条件将其设置为唯一，这样，在集合中，如果搜索到的内容，我搜索的内容将始终唯一。所以嘛，是再mongo库执行upsert的时候 并发插入导致的唯一键冲突。查询不到就插入，查询到了就更新，那会有什么问题呢？
解决scrapy爬虫报错 pymongo.errors.DuplicateKeyError: E11000 duplicate key error collection
热门推荐
小楼一夜听春雨
11-20 5万+
scrapy爬虫报错内容 pymongo.errors.DuplicateKeyError: E11000 duplicate key error collection: scrapy_data.qiushibaike index: id dup key: { _id: ObjectId(‘61989dfcfe585e2673d7ee1b’) }, full error: {‘index’: 0, ‘code’: 11000, ‘keyPattern’: {’_id’: 1}, ’ keyValue’:
pymongo.errors.DuplicateKeyError: E11000 duplicate key error collection: anjuke.ershoufang index
master_ning的博客
07-06 5028
这个bug忙了我一下午加一个晚上，终于把它ko掉了先附上一段爬取安居客二手房信息的代码import reimport timeimport pymongoimport requestsfrom bson import ObjectIdfrom lxml import etreefrom pprint import pprintheaders = {    "User-Agent": "Mozill...
pymongo.errors.ConfigurationError: incompatible_err
Hsiaaa的博客
05-11 1425
解决Pymongo和Server不适配Error DetailsSolutionFailed SolutionSuccess Solution Error Details raise ConfigurationError(self._incompatible_err) pymongo.errors.ConfigurationError: Server at 192.168.0.100:27017 reports wire version 2, but this version of PyMongo requ
python数据存入mongodb需要账号密码的解决方法并同时解决pymongo报错 pymongo.errors.OperationFailure: Authentication failed.
zaishijizhidian的博客
04-25 9989
正确示例如下：import settingimport pymongo def __init__(self): # 链接数据库, 这里只说数据库登录需要帐号密码的情况 self.client = pymongo.MongoClient('mongodb://{0}:{1}@{2}:{3}'.format(settings.MONGO_USER,settings.MO...
解决Mongoose出现MongoServerError: E11000 duplicate key error collection的报错
2301_76272533的博客
07-30 3107
因为是用mongoose开发的嘛，所以我们可以去mongoose文档看看有没有有关这种错误的处理。错误信息的关键信息在于，而当时我是在用Validation给SchemaType做校验，而刚好文档里又说到unique不是一个校验器，那么它必然会给出处理使用unique出现的错误处理。文档给出了当出现了该如何处理，而也是受到这个启发，我就对做了处理。== - 1);});用try catch捕捉异常错误，捕捉到的错误有两种情况：一种是重复键的问题，另一种是mongoose内置的校验器设置的错误。
问题：使用mongo存储数据的时候，出现错误DuplicateKeyError: E11000 duplicate key error collection
CaoMei_HuaCha的博客
03-06 4600
for i in all_data: down_list = [] now_time = utility.get_this_time() for one_data in i: on_list = [] new_list = async_real_time_data(one_data) ...
MongoDB报错：E11000 duplicate key error collection
weixin_43762903的博客
08-03 1万+
在最近做的项目之中，后端数据库部分使用MongoDB。 在使用中发现了如下问题：添加第一条数据时可以正常添加，第二条数据便无法添加。（无论在可视化工具中进行添加或者使用POSTMAN均无法正常添加） 将错误信息打印，如下图所示： 先说一下该条错误的中文意思：就是说该条数据的id_1这个键的值为null，而第一条数据中的id_1已经为null，两条数据出现id重复，因此报错。 出现该条错误的可能原...
[MongoDB]出现E11000 duplicate key error collection: index: mobile（参数）_1 dup key: { mobile：null}
m0_47814717的博客
08-10 2534
Mongodb插入数据，出现E11000 duplicate key error collection: hk-projects.administrator index: mobile_1 dup key: { mobile: null }
MongoError: E11000 duplicate key error collection: blog.users index: email_1 dup key
道阻且长，行则将至。
08-12 750
MongoError: E11000 duplicate key error collection: blog.users index: email_1 dup key 报错如下： 原因：之前在数据库中已经创建了一个email跟这个一样的用户，因此会导致报错。 解决办法：改变一下你现在创建的这个用户的email就OK了 ...
mongodb出现E11000 duplicate key error collection(id重复的解决)
coucouxie的博客
10-10 5802
今天在做一个项目的时候发现，添加信息的时候会报错，但是一直找不到什么原因，一直报错 错误代码: File “D:\Aanconda_install\lib\site-packages\pymongo\helpers.py”, line 198, in _raise_last_write_error raise DuplicateKeyError(error.get("errmsg"), 11000, error) pymongo.errors.DuplicateKeyError: E11000 dupli
pymong 添加唯一索引 pymongo.errors.DuplicateKeyError
qq_41048831的博客
06-29 608
添加索引 ： db.test1.createIndex({name: 1},{unique: true}); #name 为关键词 unique ： 唯一索引 db.test1.getIndexes() #查询索引 python插入重复数据的时候出现 pymongo.errors.DuplicateKeyError 错误。 try: db.test1.save(post) except pymongo.errors.DuplicateKeyError: print(111) ...
org.springframework.dao.DuplicateKeyException: E11000 duplicate key error collection
_夜渐凉
12-06 2081
注意：MongoDB存储一个对象A时 如果对象A里面有一个对象B 而对象B存在只能唯一的字段 会出现报错：duplicate key error collection 解决方法一： 改为存储一个对象B的DTO，只保留所需的字段 注意： 需要删除MongoDB数据库对应的唯一索引，不然会继续报这个错误 ...
mongodb出现E11000 duplicate key error collection(id重复的解决办法)
咖啡的博客
08-14 3万+
解决mongodb id 重复问题 mongodb在插入数据时出现id重复错误,具体错误代码如下: { [MongoError: E11000 duplicate key error collection: zhihu.people index: _id_ dup key: { : ObjectId('59a3b9275f063c20cc8bdec7') }] name: 'MongoE...
那这个呢？ E11000 duplicate key error collection: portal-master.shedLock
05-12
好的，我现在需要帮助用户解决MongoDB中的E11000 duplicate key error错误，特别是在portal-master.shedLock集合中出现的问题。首先，我要理解这个错误的基本含义。E11000错误通常与唯一索引冲突有关，这意味着用户...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值