qq_41018861的博客

背景：我遇到这个问题是用datax导数据时我们自定义了mongoreader组件在读取亿级数据量表时报错，数据量大，数据结构复杂，其中所读取的数据库数据较多，因为是线上业务库读取数据的速度被限制，加之当时网络波动，之前运行正常的任务报了游标超时的错误。问题 Caused by: com.mongodb.MongoCursorNotFoundException: Query failed with error code -5 and error message 'Cursor 400554224227

mongdb 查询 某个字段不存在的数据，可以用下述语法{ rule_type: {$exists: 0}}其中 0表示 不存在 1表示存在

MongoDB索引分类及优化：索引类型－基础索引、复合索引、文档索引、唯一索引及优化与关系型数据库一样，合理的使用索引可以大幅提高MongoDB的查询效率，本文介绍基础索引、复合索引、文档索引等几种常用索引的使用和优如何对索引进行优化。一、索引分类MongoDB 提供了多样性的索引支持，索引信息被保存在system.indexes中，且默认总是为_id创建索引，它的索引使用基本和MySQL等关系型数据库一样。其实可以这样说说，索引是凌驾于数据存储系统之上的另一层系统，所以各种结构迥异的存储都有相

mongoDB索引问题总结【原载】MongoDB索引管理－索引的创建、查看、删除索引是提高查询查询效率最有效的手段。索引是一种特殊的数据结构，索引以易于遍历的形式存储了数据的部分内容（如：一个特定的字段或一组字段值），索引会按一定规则对存储值进行排序，而且索引的存储位置在内存中，所在从索引中检索数据会非常快。如果没有索引，MongoDB必须扫描集合中的每一个文档，这种扫描的效率非常低，尤其是在数据量较大时。1. 创建／重建索引MongoDB全新创建索引使用ensureIndex()方法，对于已存