一次mongo查询不存在字段引发的事故

最新推荐文章于 2024-07-13 11:17:29 发布
转载 最新推荐文章于 2024-07-13 11:17:29 发布 · 751 阅读 · 1 ·
CC 4.0 BY-SA版权
原文链接：https://www.cnblogs.com/dongxixi/p/14237743.html
文章标签：

#mongodb

本文讲述了作者因误操作查询MongoDB，导致CPU和IOPS异常的事故，揭示了全表扫描对性能的影响，强调了对数据库操作的谨慎和理解数据模型的重要性。

　　话说今天的一个小小的查询失误给了我比较深刻的教训，也让我对mongo有了更深刻的理解，下面我们来说说这个事情的原委：

我们经常使用阿里云子账号在DMS上查询线上数据库数据，今天也是平常的一次操作

集合：

1

XXXX_message<br>数据量约 600万

我执行了下面的mongo查询：

1

db.XXXX_message.find({"channel_id": "1000000009XXXX700XXXX"}).limit(20);

但是上述语句中的 "channel_id" 字段不存在，真实字段应该是channel(有索引)，属于失误操作

在执行过程中，我发现查询时间很久，于是中断了查询又重试了两次，还是很久，最后中断了查询，我意识到我想查的字段可能错了，于是看了下集合索引，使用正确的字段检索得到结果

但就在这时候，一场事故也在悄然酝酿，2分钟后，阿里云监控中心打来告警电话，mongo数据库cpu、iops异常升高

 

 

起初并没有意识到是这个查询导致的，还以为是半小时前发布的版本可能有问题，于是立即回滚了版本并开始项目检查

查了许久，并没有查到可能造成本次数据库异常告警的原因，项目对该库的依赖的操作的地方非常少。

当我们苦苦想不到原因的时候，我们去查了下相关慢sql日志，果然一道耗时约1800000ms的慢sql日志引起了我们的注意

这时候我似乎意识到了点什么，我立马查阿里云控制台查询历史核对了我刚才查询的时间和数据库cpu、磁盘iops异常升高的时间节点

完全对上了，该起事故持续半小时左右，那条没有被成功中断的sql也执行了半小时左右

 

 

这让我很震惊，一次控制台查询居然导致整个数据库出现如此严重的问题，mongo底层没有考虑过不存在字段查询问题吗？

我慢慢平复心情，仔细回顾这件事情，我尝试着从mongo和mysql的底层去理解这个问题

mongo本身是集合型数据库，意味着每个集合文档都可以有自己独立的数据结构，和mysql等关系型数据库的很重要的区别就是它没有固定的表结构，它包容且随性

当在查询一个不存在的字段的时候，它仍然按照普通查询检索数据，这时候它会全表扫描，也就是说在上述失误语句中，mongo底层检索了整个集合的数据集，

遍历了该集合所有的磁盘块，这才导致磁盘iops升高且cpu升高。

这次经历让我觉得我有必要记录下相关心得，可能对于很多高级技术人员，这些东西都是很容易理解和规避的事情，但大多数人对此可能并没有深刻认识

这次事故让我对技术多了一层敬畏，这有助于我在今后的代码实践和操作中更加谨慎和多一层思考，希望大家以此为戒！

此文共勉！

〖Python 数据库开发实战 - MongoDB篇⑮〗- MongoDB的索引机制
易编橙 · 终身成长社群，相遇已是上上签！
04-22 2万+
前面几章节我们掌握了 MongoDB 的 "增"、"删"、"改"、"查" 操作，该章节我们来了解一下 MongoDB 的索引机制。
Mongodb分片集合限制，导致一次上线紧急回滚
qq_34692500的博客
05-11 1103
背景 MongoDB 集群分片中某个节点的磁盘使用率已经达到了 75%，发现一个名为 "visitor" 的集合数据量已经达到了 20 多亿条，占用了 260GB 的磁盘空间。我与研发团队讨论后决定清理数据，需要保留最近半年的数据，但是时间字段没有索引。因此采用的方案是新建新的集合、createTime字段添加索引、同时开启集合分片，使用阿里云DTS实时将数据同步到新的集合，然后研发修改代码...
Mongodb中查询某个字段不存在或者为null
lck_csdn的博客
01-10 8113
mongoDB中查询nul值 查询集合c中y的值为null，（仅返回y的值为null的数据，不会返回不存在的） db.c.find({“y”: {$type : 10}}) $type为10表示Null 或者 db.c.find({“y”: {“$in”: [null], “$exists”: true}}) 查询集合c中y的值不存在（不会返回y的值为null的数据） db.c.find({“y”: {$exists: false}}) 查询集合c...
MongoDB查询空字段或缺失字段
swerfse的博客
07-16 2369
在MongoDB数据库中，缺失字段和null值是处理数据缺失或无效值的关键概念。对于MongoDB用户而言，对这两个概念的深入了解将有助于优化数据查询和处理过程。本文将详细解析MongoDB中的缺失字段和null值，并提供实践建议，帮助读者更好地理解和应用它们。
技术分享| MongoDB如何查询Null或不存在的字段？
MongoDB中文社区
05-07 4388
在MongoDB中不同的查询操作符对于null值处理方式不同。 本文提供了使用mongo shell中的db.collection.find()方法查询null值的操作案例。案例中使用的inventory集合数据可以通过下面的语句产生。 db.inventory.insertMany([ { _id: 1, item: null }, { _id: 2 } ]) 等值匹配 当使用**{item:null}作为查询条件的时候，返回的是item字段值为null的文档或者不包含item**字段的文档.
MongoDB 查询：匹配某个字段是否为 null 或是否存在
一只奋斗的猪
05-21 6604
【代码】MongoDB 查询：匹配某个字段是否为 null 或是否存在。
如何在MongoDB中检查字段是否存在
Free雅轩的博客
11-06 2946
我们先使用一个标准的find​ 方法，在这个方法中，我们指定我们要查询的字段，并使用$exists​查询操作符。首先，我们需要创建一个简单的Mongo数据库, 然后放入一些假数据，以便在例子中使用。我们能够通过基本的查询来检查特定字段的存在与否，例如在Mongo Shell或其他数据库控制台。com.mongodb.client.model.Filters​是Mongo依赖的一个工具类，包含了很多有用的方法。当我们试图找一个不存在的字段时，代码的结果也是一样的。如果该字段不存在，我们将得到一个空的结果。
数据同步工具MongoShake
雪辉博客
03-24 2841
文章目录一、MongoShake1.1 MongoShake简介1.2 应用场景1.3 基本特性二、方案2.1 多活方案2.2 容灾方案三、验证3.1 环境介绍3.2 功能验证3.2.1 多活验证3.2.2 容灾验证四、问题总结 一、MongoShake 1.1 MongoShake简介   MongoShake是一个以go语言编写的通用的平台型服务，通过读取MongoDB集群的Oplog日志，对MongoDB的数据进行复制，后续通过操作日志实现特定需求。   MongoShake从源库抓取oplog数据
@Slf4j @Profile("mongodb") @Service("MongoUserService") public class MongoUserServiceImpl implements UserService { @Value("${system.max-user-limit:10}") private int maxUserNumber; private final MongoTemplate mongoTemplate; private final MeterRegistry meterRegistry; private Counter emailDuplicateCounter; public MongoUserServiceImpl(MongoTemplate mongoTemplate, MeterRegistry meterRegistry) { this.mongoTemplate = mongoTemplate; this.meterRegistry = meterRegistry; } @PostConstruct public void init() { emailDuplicateCounter = Counter.builder("user.registration.duplicate.email") .description("Counts the number of duplicate email registration attempts") .register(meterRegistry); } /** * 用户认证 * * @param loginDTO 登录凭证 * @return 认证结果 */ @Override public boolean auth(UserLoginDTO loginDTO) { Query query = new Query(Criteria.where("email").is(loginDTO.getEmail())); MongoUser user = mongoTemplate.findOne(query, MongoUser.class); if (user == null) { return false; } try { return user.getPassword().equals(AESUtils.encrypt(loginDTO.getPassword())); } catch (Exception e) { throw new RuntimeException("Encryption error", e); } } /** * 用户注册 * * @param registryDTO 注册信息 * @return 注册结果 */ @Override public UserRegistryResultDTO registry(UserRegistryDTO registryDTO) { UserRegistryResultDTO result = new UserRegistryResultDTO(); validateRegistryInfo(registryDTO, result); if (result.getStatus() != RegistryStatusEnum.FAILED) { try { MongoUser newUser = dtoToUser(registryDTO); mongoTemplate.insert(newUser); result.setStatus(RegistryStatusEnum.SUCCESS); result.setMessage("Registration successful in MongoDB"); } catch (DuplicateKeyException e) { log.error("Duplicate email registration", e); result.setStatus(RegistryStatusEnum.FAILED); result.setMessage("Email already exists"); emailDuplicateCounter.increment(); } catch (Exception e) { log.error("MongoDB insert error", e); result.setStatus(RegistryStatusEnum.FAILED); result.setMessage("Database error"); } } return result; } /** * 注册信息验证 */ private void validateRegistryInfo(UserRegistryDTO registryDTO, UserRegistryResultDTO result) { if (!isValidEmail(registryDTO.getEmail())) { result.setStatus(RegistryStatusEnum.FAILED); result.setMessage("Invalid email format"); } if (mongoTemplate.exists(new Query(Criteria.where("email").is(registryDTO.getEmail())), MongoUser.class)) { result.setStatus(RegistryStatusEnum.FAILED); result.setMessage("Email already exists"); emailDuplicateCounter.increment(); } if (mongoTemplate.count(new Query(), MongoUser.class) >= maxUserNumber) { result.setStatus(RegistryStatusEnum.FAILED); result.setMessage("User limit reached"); } } /** * DTO转实体类 */ private MongoUser dtoToUser(UserRegistryDTO dto) { try { return MongoUser.builder() .id(String.valueOf(new ObjectId())) .username(dto.getUsername()) .email(dto.getEmail()) .password(Aragon2Util.hashPassword(dto.getPassword().toCharArray())) .address(AESUtils.encrypt(dto.getAddress())) .createTime(new Date()) .updateTime(new Date()) .build(); } catch (Exception e) { log.error("Encryption failed", e); throw new RuntimeException("User conversion error"); } } /** * 查询所有用户 */ @Override public List<UserInfoDTO> findAll() { return mongoTemplate.findAll(MongoUser.class).stream() .map(user -> new UserInfoDTO(user.getUsername(), user.getEmail(), user.getAddress())) .collect(Collectors.toList()); } /** * 通过邮箱查询用户 */ @Override public UserInfoDTO findByEmail(String email) { Query query = new Query(Criteria.where("email").is(email)); MongoUser user = mongoTemplate.findOne(query, MongoUser.class); return user != null ? new UserInfoDTO(user.getUsername(), user.getEmail(), user.getAddress()) : null; } @Override public ResponseDTO updateEmail(String email, String newEmail) { return null; } /** * 更新密码 */ @Override public ResponseDTO updatePassword(String email, String oldPassword, String newPassword) { Query query = new Query(Criteria.where("email").is(email)); MongoUser user = mongoTemplate.findOne(query, MongoUser.class); if (user == null) { return ResponseDTO.failed("User not found"); } try { if (!user.getPassword().equals(AESUtils.encrypt(oldPassword))) { return ResponseDTO.failed("Invalid old password"); } Update update = new Update(); update.set("password", AESUtils.encrypt(newPassword)); update.set("updateTime", new Date()); mongoTemplate.updateFirst(query, update, MongoUser.class); return ResponseDTO.success("Password updated"); } catch (Exception e) { log.error("Password update failed", e); return ResponseDTO.failed("Encryption error: " + e.getMessage()); } } /** * 删除用户 */ @Override public ResponseDTO deleteUser(String email) { Query query = new Query(Criteria.where("email").is(email)); DeleteResult result = mongoTemplate.remove(query, MongoUser.class); return result.getDeletedCount() > 0 ? ResponseDTO.success("User deleted") : ResponseDTO.failed("User not found"); } private boolean isValidEmail(String email) { return email.contains("@"); } } 在使用上面的service中registry方法插入数据时，报错如下： com.mongodb.MongoCommandException: Command failed with error 2 (BadValue): 'Field 'locale' is invalid in: { locale: "user" }' on server localhost:27017. The full response is {"ok": 0.0, "errmsg": "Field 'locale' is invalid in: { locale: \"user\" }", "code": 2, "codeName": "BadValue"}这是为什么
最新发布
09-03
但是，在registry方法中的验证步骤（validateRegistryInfo）里，我们使用了两次查询：一次是检查邮箱是否存在，一次是统计用户总数。但是这些查询不应该导致插入时报错。 然而，在插入之前，Spring Data MongoDB...
高阶面试-mongodb
wjl31802的博客
07-13 1275
采用opLog同步数据，这里的oplog是一个特殊的固定集合，当主节点上的一个写操作完成后，会向oplog集合写入一条对应的日志，而备节点则通过这个oplog不断拉取到新的日志，在本地进行回放以达到数据同步的目的。一般100ms一次。checkpoint检查点机制，类似RDB，建立checkpoint的时候，会在内存建立所有数据的一致性快照，是通过MVCC保证，然后持久化快照，默认1min一次，成功后内存中的修改才会真正保存。真实的实现，做了优化，每次获取一批数据放到内存。缺少数据压缩，磁盘利用率低。
mongoDB / mongoose查询数据库中指定字段的值或者该字段并不存在的文档
InterestAndFun的博客
12-14 1401
举例说明的是查找b的值为“1234”的文档，或者b这个字段不存在的文档结果 Test.findOne({a: "123", $or: [{ b: "1234"}, { b: { $exists: false }}]}).lean();
《数据库系统实现》第一章DBMS系统概述 学习笔记
兰陵鸡王的博客
12-23 805
第一章 DBMS系统概述 1.1 数据库系统的发展 数据库就是信息的集合。 数据库管理系统满足： 数据定义语言指定其模式schema(数据的逻辑结构) 查询语言来查询和修改数据 支持对大量数据长期存储 数据具有持久性，能从故障、错误中恢复 控制多个用户进行访问 在数据库中，关系(relation)指的是表。元组(tuple)指的是每一条记录，其是数据库的最小公民。属性(attribute)指的是表中的每一列。 关系数据库系统使得程序员不需要关心存储结构，查询用高级语言表示，提高了程序员的效率。 数据仓库
tp6 mongodb遇到的问题整理
talikdevil的博客
04-12 597
tp6使用 MongoDB时 value()和column()查询方法报错的解决方法
mongodb数据库中string类型字段为空值，后台查询会出现null或者“”
gfgdgs的博客
08-08 7974
在MongoDB中，string类型的字段为空时，在后端取该字段的数据时，可能是null，也可能是“” 此时，若想对该字段进行空值判断会不好处理 可以在取数据的时候，使用三目运算符进行判断一下： virusname =(null != apkAll.getScanResult() ? apkAll.getScanResult() : ""); 这样，数据库字段如果是空， 取出的结果若是...
出现某个字段不存在的问题
殇莫忆的博客
12-19 5760
解决办法： ①、查看报错的字段是否与数据库的字段一致 ②、查看报错的字段是否与实体类的字段一致 ③、如果是用mybatis、hibernate、springdata JPA等框架的SQL语句，查看是否与SQL语句中的某个字段不一致...
mongo数据库查询某个字段不存在的数据
qq_41018861的博客
09-22 5520
mongdb 查询 某个字段不存在的数据，可以用下述语法 { rule_type: {$exists: 0} } 其中 0表示 不存在 1表示存在
mongo查询某个字段是否存在，并删除记录里的这个字段
热门推荐
yuan882696yan的专栏
04-18 5万+
db.course.update({},{$unset:{"lectures.lectures_count":""}},{multi:true})
mongodb查询字段不存在的文档
幸福的娃娃菜
09-26 1万+
在mongodb中，如果实体类的某个字段为null， 则在存入mongodb时该字段不会存入 查询某个字段是否存在的语句 db.getCollection(‘test’).find({res_name:{$exists:false}}) 如果查询不存在则使用true ...
MongoTemplate查询指定字段
08-20
在使用 `MongoTemplate` 进行查询时，可以通过构建 `Query` 对象并使用 `fields()` 方法来指定需要返回的字段。这种方式允许在查询时动态地控制返回的字段，从而减少数据传输量并提高性能。以下是一个完整的示例： ...
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值