Melon_LPC的博客

Mongo批量处理数据的思路 mongo数据库中已经采集了2000W的数据，现在需要对每条数据进行一定的处理，如何设计处理思路？ 逐条处理 一开始选择的定义一个状态字段 _Status, 默认等于0， 通过find_one_and_update 的方式逐一进行处理，这样处理的弊端也是很明显的: 1. 逐一处理，速度较慢 2. 大量的查询会占用更多的数据库资源 批量处理 使用mongo中的limit的方式批量获取数据，更新最后一次获取到的数据的_id,为了保证数据不被漏掉，我们对_id进行排序， 代码如下：