从Mysql导出数百万条数据到MongoDB,然而跑了一半多之后发现虽然Mysql的查询仍是正常进行的,但MongoDB中的数据不再增加了,不过java也没抛出异常。表面上看一切正常,但MongoDB已经无法写入了。
首先需要解决的一个问题是把错误打印出来,默认情况下是无法打印出错误而是继续执行的,所以首先将
collection.insert(DBObject)
改为
collection.insert(DBObject, WriteConcern.SAFE)
这样遇到错误就会停止执行,抛出异常。提示为:
com.mongodb.MongoException: can’t map file memory - mongo requires 64 bit build for larger datasets
查了一下,网上说原因是系统是32位,对于大的数据集需要64位。
使用uname -a,发现系统是64位的
打开mongo命令行,使用
use admin
db.runCommand("buildInfo")
可以看到mongo是64位还是32位,结果发现虽然系统是64位的,却装了32位的mongo,所以最后的解决方法是重装mongo。
本文介绍了一种在从Mysql向MongoDB迁移大量数据过程中遇到的问题及解决方案。问题表现为MongoDB停止接收数据,但未抛出异常。通过调整写入策略并检查MongoDB版本最终解决了该问题。

被折叠的 条评论
为什么被折叠?



