由于列表中存在相同实例导致insert_many报错解决办法

最新推荐文章于 2025-09-13 08:20:44 发布

原创

最新推荐文章于 2025-09-13 08:20:44 发布 · 1k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#pymongo #mongodb #python #深拷贝 #浅拷贝

在尝试使用`insert_many`方法批量插入MongoDB文档时，遇到了`pymongo.errors.BulkWriteError`，原因是列表中存在重复实例导致。问题在于使用列表乘法操作创建新列表时，某些元素实际上是同一个实例。解决方法是避免使用列表乘法，而是采用深拷贝确保每个元素都是独立的实例。例如，使用`copy.deepcopy()`来扩展列表，而不是`list.extend()`或浅拷贝。这样做可以确保所有插入的文档都是独特的，从而避免错误。

在使用insert_many对mongodb进行多文档插入时报错

pymongo.errors.BulkWriteError: batch op errors occurred

但奇怪的是这样没问题

>>> mycol.insert_many(documents=[{
   
   'a':1},{
   
   'a':1},{
   
   'a':1},{
   
   'a':1},{
   
   'a':1},

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

micromicrofat

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

Debezium从入门到精通系列之：百篇系列文章汇总之研究Debezium技术遇到的各种错误的解决方法

zhengzaifeidelushang的博客

07-30

3237

Debezium从入门到精通系列之：打通Debezium技术过程中遇到各种错误的解决方法之百篇系列文章汇总

MongoDB中insert_many出现的一种常见错误：“insert chance error batch op errors occurred, full error“

weixin_45970713的博客

12-28

2457

MongoDB中insert_many出现的一种常见错误："insert chance error batch op errors occurred, full error"

参与评论您还未登录，请先登录后发表或查看评论

insertMany

PENGJUN198599的博客

09-18

583

结果：转载于:https://www.cnblogs.com/Andy-Li/p/5881010.html

Python MongoDB - insert_many 查询

最新发布

weixin_42107409的博客

09-13

921

本文深入解析了Python PyMongo库中的insert_many()方法，重点介绍了批量插入操作的优势与实现方式。文章首先强调了批量操作在提高效率、减少网络开销方面的重要性，随后详细讲解了环境搭建、方法语法、参数说明及返回值处理。特别对_id字段的自动生成和自定义处理进行了说明，并通过具体示例演示了包含自动生成_id和自定义_id的文档批量插入操作。此外，还涵盖了ordered参数对错误处理的影响，以及最佳实践建议，包括批量大小考量、性能优化和事务处理等关键内容。

mongo批量插入问题(insert_many,bulk_write)

Lao男孩的博客

07-08

2万+

mongo批量插入问题1. 遇到问题2. 解决问题2.2 方法1：批量插入insert_many2.3 方法2：批量更新bulk_write（UpdateOne）2.3.1 bulk_write定义3. 性能测试 1. 遇到问题每天通过spark等数据库框架批量处理的结果数据最少500万条记录，每天需要导入到mongo数据库，最初通过update one的方法一条一条进行更新插入，耗时大约2小时...

MongoDB---如何避免插入重复数据（pymongo）

weixin_30732825的博客

07-11

3084

以下摘自pymongo文档： update_one(filter,update,upsert=False) update_many(filter,update,upsert=False) filter: A query that matches the document to update. update: The modifications to apply. u...

collection.insertMany()¶

BLOG域名:programb.blog.youkuaiyun.com

04-25

779

MongoDB Logo ServerDriversCloudToolsGuides Get MongoDB Close × MongoDB Stitch Introduction Tutorials Users & Authentication MongoDB Atlas Overview Configure MongoDB Link a MongoDB ...

MySQL only_full_group_by 1055报错的三种解决方案，临时关闭有影响吗？

蒋川@卡拉云

11-18

2652

当我们迁移到 MySQL 5.7+ 的版本时，常会碰到 ERROR 1055 only_full_group_by 错误，这是 5.7 之后 SQL_MODE 默认打开了严格模式导致的错误。说明你代码里有地方写的不严谨。 ERROR 1055 (42000): Expression #2 of SELECT list is not in GROUP BY clause and contains nonaggregated column 'kalacloud.use.

File "C:\ProgramData\Anaconda3\lib\site-packages\pymongo\collection.py", line 3507, in __call__ raise TypeError( TypeError: 'Collection' object is not callable. If you meant to call the 'insert_id_many' method on a 'Collection' object it is failing because no such method exists.

04-03

若数据库客户端实例化失败或集合对象创建过程出现问题，可能会导致后续操作报错[^4]。 #### 正确实现示例下面展示如何通过 PyMongo 向 MongoDB 插入单条或多条记录而不触发上述异常情况： ```python from ...

MongoDB 02_插入操作

T5858785的博客

05-16

420

数据库的插入的操作插入文档语法 1,db.集合名.insert(document) 新版本过时 insert(): 若插入的数据主键已经存在，则会抛 org.springframework.dao.DuplicateKeyException 异常，提示主键重复，不保存当前数据。 >db.stus.insert({name:'沙和尚',gender:'male',age:45,address:'未知'}) 'DeprecationWarning: Collection.insert() is

pymongo insert_many 批量插入

luoganttcc的博客

04-16

1万+

lt=client.fangjia.district_stat_all_0416 dl = dt.find(query) bf=[] for m in dl: bf.append(m) if len(bf)==20000: lt.insert_many(bf) bf=[] lt.insert_many(bf)

pymongo保存dataframe格式的数据(insert_one, insert_many, 多线程保存)

呆萌的代Ma

07-25

1577

这是最基本的保存方法，可以对数据本身做微调，然后保存。可以一次性保存一批数据，使用。方法可以批量保存数据。

mongoDB 的 insertMany 也是最多 16mb 的文档吗

zzqincsdn的博客

06-26

471

在实际使用中，确保每个文档都不超过 16MB 即可，批量插入操作本身不会因为文档总大小超过 16MB 而失败。操作并没有 16MB 的限制。16MB 的限制适用于单个文档，而不是整个批量操作。在 MongoDB 中，

Python操作Mongodb插入数据的两种方法：insert_one()与insert_many()

菜鸟大侠的专栏

04-21

2万+

代码说明：将mysql中table的数据插入到mongodb里 sys.setdefaultencoding('utf8') import web from pymongo import MongoClient class getPltfList(object): def __init__(self): self.db1 = web.databa

【解决方法】Pymongo insert 卡住

热门推荐

Bottle's Blog

12-21

3万+

背景先说一下标题，当我不知道问题的具体原因的时候，上面的标题就是我在搜索引擎中输入的内容。同样的，我还尝试过以下几种搜索组合： Pymongo insert hangs Pymongo insert stop Pymongo insert no return MongoDB insert hangs MongoDB insert stop MongoDB insert no return 从上面几个搜索的关键词，大家也能看出来问题的基本背景，就是使用 Pymongo 执行 insert，但是卡住了。

[pyMongo]insert_many的Bulkwrite实现机制

weixin_30629977的博客

11-21

632

在SQL中，insert many的操作可能会出现插入数据量过大的问题。印象中MySQL Driver对insert语句的buffer有一个大小限制。超过这个限制的数据可能会被丢弃？ -- > 待考不过使用pyMongo做insert_many并不会存在这个问题，因为pyMongo在实现BulkWrite操作时，已经自动将数据划分成小块进行插入，避免插入数据过大的问题。具体可看p...

MongoDB-插入数据insert、insertOne、insertMany、save用法介绍

专注测试领域知识分享和技能提升

07-17

1万+

先针对上篇文章中MongoDB的_id字段含义做一些补充的描述，上篇文章地址：MongoDB-_id字段的含义介绍补充说明:MongoDB是一个分布式的数据库，使用ObjectId类型数据作为主键的话，可以有效避免不同机器写入数据时_id的唯一性。上篇文章中有介绍过ObjectId类型的_id每一位对应的含义。除了之前介绍过的，可以自定义_id的值以外，_id字段的类型除......

Mongoose - 一次录入多条数据insertMany

seaalan的博客

12-21

1万+

使用 insertMany // 出入资料 { "list":[ { "areaOfPharmacistBackup":"湖北省武汉市黄陂区", "nameOfPharmacistBackup":"鲁**", "typeOfPharmacistBackup"

pymongo.errors.BulkWriteError错误排解

dinght2000的博客

11-02

2667

在mongodb进行数据库操作的时候触发异常 pymongo Error: pymongo.errors.BulkWriteError: batch op errors occurred 这种问题出现在调用insert_many方法，原因可能有两种： 1. 数据库某个字段被设置成了unique，在插入的时候这个字段出现了重复； 2. insert_many使用时所插入的文档列...