‘utf-8‘ codec can‘t decode byte 0xb9 in position 24: invalid start byte

最新推荐文章于 2023-12-04 19:50:15 发布

原创最新推荐文章于 2023-12-04 19:50:15 发布 · 951 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#python #mongodb

在使用MongoDB、Pandas和JSON进行数据操作时，遇到非utf-8字符导致的编码问题。删除DataFrame中的_id列可以解决问题，因为MongoDB生成的_id在写回时可能导致冲突。此方法适用于处理从磁盘文件读取的数据时出现的编码问题。

本文主要是写mongodb+pandas+json时候出现的。

如果你不幸不是同样环境，是其它情况下出现的，其实原理是一样的。

就是读入了非utf-8的字符，一般涉及到磁盘文件读取。这时编码指定或者转换也许是需要的。

本人的解决方法就是

del df["_id"]

就这么简单，

产生原因是mongodb会自动生成_id，再次读出来到df，然后追加数据或者一些处理之后再转成json再写入mongdb，，

删除这个长id就好了。

长这个样：

_id 63b96244ffa4096b3aa0054f 63b96244ffa4096b3aa00550 63b96244ffa4096b3aa00551 63b96244ffa4096b3aa00552 63b96244ffa4096b3aa00553 ... 63b96244ffa4096b3aa00559 63b96244ffa4096b3aa0055a 63b96244ffa4096b3aa0055b 63b96244ffa4096b3aa0055c 63b96244ffa4096b3aa0055d