bson.errors.InvalidDocument: Cannot encode object:错误的一种解决方法

最新推荐文章于 2023-07-07 11:08:15 发布
转载 最新推荐文章于 2023-07-07 11:08:15 发布 · 4.1k 阅读 · 0
文章标签：

#pandas #MongoDB

本文介绍如何在使用Python的pandas库读取CSV文件并将数据插入Mongodb数据库时，解决因数据类型不匹配导致的错误。具体地，文章解释了pandas读取的numpy.int64类型与Mongodb不兼容的问题，并提供了解决方案。
部署运行你感兴趣的模型镜像

在Python中利用pandas库的read_csv函数读取CSV文件，文件中包含有数值型值，然后将其转换成字典存入Mongodb数据库中，但是在插入数据库中会报错：

bson.errors.InvalidDocument: Cannot encode object:

这是因为pandas库在读取数值型值时返回的结果不是整型或者浮点型，而是numpy.int64类型的一个对象，Mongodb是无法对一个对象进行编码存储的，所以这里需要对读取到的结果进行强制类型转换：

vid = int(df['vid'][j])

您可能感兴趣的与本文相关的镜像

Python3.9

Python3.9

Conda
Python

Python 是一种高级、解释型、通用的编程语言，以其简洁易读的语法而闻名，适用于广泛的应用，包括Web开发、数据分析、人工智能和自动化脚本

解决bson.errors.InvalidDocument: Cannot encode object: Decimal(‘8500.00‘)数据插入MongoDB问题
mygodit的博客
04-04 6344
背景: 最近公司在做一个公众号的地方展示项目，原来的数据都是直接从MySQL中直接获取的。随着数据量的增大，查询效率越来越拖拉。然后呢，就想着把MySQL中的数据迁移到MangoDB中去。 任务简洁明了，读取MySQL数据批量插入MangoDB中，任务完成，美滋滋。 具体的数据迁移方法可以看这篇文章: https://blog.csdn.net/mygodit/article/details/88...
94 org.bson.BsonSerializationException: Detected unknown BSON type ““ for fieldname “0“
970655147的专栏
02-13 1136
前言 呵呵 最近在做数据迁移的时候发现了这样的一个问题 大致的情况是 使用 datax 来进行数据迁移, 源数据库是 mongo, 目标数据库是 postgres 查看了一下 datax 下面放的 mongo-java-driver 版本大概是 3.2.x, 还是 3.1.x, 然后 使用一个 case 看了一下这个版本的 BsonType, 是没有 0x13 的这个 Type, 在高版本 3.4.x 以上的 mongo-java-driver 中才添加了这个BsonType.DECIMAL12...
解决bson.errors.InvalidDocument: Cannot encode object:错误的一种方法
热门推荐
leaderwsh的博客
06-22 1万+
在Python中，首先利用pandas库的read_csv函数读取CSV文件，文件中包含有数值型值，然后将其转换成字典存入mongodb数据库中，但是在插入数据库中会报错：bson.errors.InvalidDocument: Cannot encode object:这是因为pandas库在读取数值型值时返回的结果不是整型或者浮点型，而是numpy.int64类型的一个对象，mongodb是无...
报错bson.errors.InvalidDocument: Cannot encode object: array
a704838294的博客
05-28 1151
bson.errors.InvalidDocument: Cannot encode object: array([-115.8, -118. , -118.2, …, -112.2, -113.2, -113. ]) np.array(np.ravel(ni_list)).astype(float).tolist()#将多为矩阵裂变成列表，并将里面的数值转化为float类型 ...
cannot encode object: 8, of type: ＜class ‘numpy.int64‘＞
qq_38546597的博客
08-25 2924
pandas数据存储到mongodb数据库中需要注意类型转换 不然会出现以下错误： bson.errors.InvalidDocument: cannot encode object: 8, of type: <class ‘numpy.int64’> mogo_item = python.loc[i].to_dict() collection.insert(mogo_item) 这样插入mogodb数据库，由于pandas数字数据是以n’da’r’ra’y格式存储的，因此需要进行int 或者
PyMongo报错bson.errors.InvalidDocument: Cannot encode object的解决办法
HeatDeath的博客
04-06 9911
加上这行就好了…
bson.errors.InvalidDocument: cannot encode object: <tkinter.StringVar object at 0x0000022273FBDC40>, of type: <class 'tkinter.StringVar'>
06-12
这个错误是因为 `bson` 库不能直接编码 `tkinter.StringVar` 对象，因为 `tkinter.StringVar` 对象不是一个原生的 Python 数据类型，而是一个类对象。`bson` 库只能编码一些原生的 Python 数据类型，比如数字、字符...
mongodb insert 数据 InvalidDocument: cannot encode object: 753762070, of type: <class 'numpy.int64'>报这个错
最新发布
12-01
当你尝试将含有 numpy.int64 类型的数据（如 753762070）插入 MongoDB，可能会遇到 `InvalidDocument` 错误，因为MongoDB不直接支持numpy数组作为文档的一部分。解决这个问题通常涉及以下几个步骤： 1. **转换数据...
pymongo.errors.DocumentTooLarge: ‘aggregate‘ command document too large 解决
xu_xiu的博客
07-07 675
还有同事提出，可以将mysql里订单用dict的形式取出，基于hash判断在不在字典里，会快些，虽然判断会快些，但查出mongo所有的数据（300多万条），再进行循环统计电量还是会拉慢速度！因为数据库是基于内存做的，另外还需要扩大buffer"，但这是生产的数据，不能做这种冒失的操作，万一搞崩了，直接凉凉!需求：有个mysql订单库和mongo订单库，mongo里存的订单包含mysql存的订单，目标是统计在mongo里不在mysql里的订单的电量和订单数！没毛病，修改统计程序的代码为分页聚合！
ValueError: cannot encode objects that are not 2-tuples
kewei chen
01-21 3452
ValueError: cannot encode objects that are not 2-tuples The code: import requests from StringIO import StringIO buffer = StringIO() url = 'http://example.com/files/' user, password = 'ex', 'ample' buffer.write(open(r'C:\Users\example\Desktop\code\de.txt'
错题集（已解决）：pymongo报错InvalidDocument: Cannot encode object: 52（某个数值）
泛纪元的啊有猫
09-11 5723
今天写个宏玩，结果发现一个可能是编码引发的问题··· 完全不知道怎么处理·· import pandas as pd import numpy as np import pymongo myclient = pymongo.MongoClient(host='mongodb://localhost:27017/') mydbs = myclient['db_WebCrwr'] my...
dataframe写入mongoDB遇到的一些问题以及解决
as394349658的博客
12-17 5965
目录 一、问题 If using all scalar values, you must pass an index. bson.errors.InvalidDocument: Cannot encode object. InvalidDocument: documents must have only string keys等等很多类似的错误 二、问题分析 Mongo需要接受字典格式...
pymongo 模块分析
魔法学徒de专栏
09-09 6457
在pymongo 2.x版本中连接有'MongoClient', 'MongoReplicaSetClient','Connection'三种方式，其中'Connection'不建议使用。     在pymongo 3.x版本中已经没有了'Connection'，'MongoClient'是在pymongo中连接mongodb服务器的基础类。 ''' Client for a MongoD
“我插入MongoDB的数据都去哪了？”——明明抓取到了数据，为啥不见了？
HeatDeath的博客
04-06 3941
是因为抓取速度太频繁被封了IP嘛？ 不应该呀，明明设置了10几秒的睡眠时间的呀是因为数据大小超过了一定的大小嘛？听说MongoDB要求单个Document要小于16Mb 最多一两千汉字，怎么会超过16Mb呢，每个document应该只有几Kb才对呀我的数据都去哪啦？到底去哪了呢？？？黑人问号 原来修改一下这里就好了…Pycharm的MongoDB插件文档
解决mongodb插入数据出现bson.errors错误
github_36096512的博客
09-10 5215
解决mongodb插入数据出现bson.errors错误在这里我会记录一些自己平时遇到过的一些问题及解决方法，希望与大家共同进步。例子对于“bson.errors.InvalidStringData: strings in documents must be valid UTF-8”的错误，可以通过如下方法来解决：# 对编码出错的字符串 str = str_.decode("unicode_esca
一个numpy.float32类型数据存入mongodb引发的异常
weixin_38166686的博客
12-26 593
问题背景：最近在项目中需要算两个语句的语义相似度，程序使用python写的，然后离线存入到mongodb中，原本是把算出来的语义相似度得分直接赋给某个字段，然后整体存入到mongodb中，结果就报了如下的错误： bson.errors.InvalidDocument: Cannot encode object: 0.6623089 这是因为语义相似度得分0.6623089不是一个浮点...
MongoDB中如何插入带有点“.”的记录
leaderwsh的博客
06-22 1216
MongoDB默认是不允许出现带有“.”的键或值的，因为MongoDB的嵌套查询依靠“.”来实现解决此问题有两种方法：1.在MongoDB2.7等老版本中，会有check_keys=False，就会忽略“.”来插入数据库，这种方法在新版本中被废弃掉了collection.insert(document,check_keys=False)2.将出现“.”的位置用其他字符来代替...
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值