读取MongoDB最新入库数据时,数据丢失

MongoDB中的ObjectId在一秒内可能无法保证单调递增,导致增量数据在大量并发时可能出现丢失。文档指出这是由于时间精度和客户端系统钟差异。为解决此问题,可以考虑降低数据实时性,采用延迟取值策略,例如延迟5秒后取值。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

场景

将不断写入到 MongoDB 某张表的增量数据,及时读取出来,然后进行其他操作。

问题

在验收其他操作结果时发现,各个时间段的数据多多少少会有丢失现象。

排查

有问题,就找官方文档。
地址:https://www.mongodb.com/docs/manual/reference/bson-types/#objectid
While ObjectId values should increase over time, they are not necessarily monotonic. 
This is because they:
- Only contain one second of temporal resolution, so ObjectId values created within the same second do not have a guaranteed ordering
- Are generated by clients, which may have differing system clocks.

大意是:
尽管 ObjectId 随着时间递增,但是过程并非单调。主要原因有以下两个:
1、ObjectId 的时间精度只有一秒钟,因此同一秒钟内产生的ObjectId 不能保证单调;
2、不同客户端不同系统计时器导致。

从文档可以得知,当每秒钟内写入某张表数据量较多时,如果根据 _id 排序取值,由于 ObjectId 时间精度的特性无法准确排序,
导致取值丢失。

在这里插入图片描述

解决

在需求允许范围内,降低数据实时性:将实时取值改为延时取值,如延时 5 秒取值(或者其他时间 delay 也可)
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值