MONGODB 最近测试结果的简单记录

测试目的:随着集合数据量的增大,查询效率会不会降低
测试了300W,1000W,5000W,一亿,三亿,五亿数据量
测试结果:MONGO的表现非常稳定,每秒的查询次数保持在84000到86000之间,随着数据量的增大,查询效率没有明显的下降
表结果:
> db.dnscoll.find()
{ "_id" : "Hcpp07cOXO1", "id2" : "000000000000000002", "id3" : "serverId", "id1" : "48545884402" }
{ "_id" : "igD4uZGWty3", "id2" : "000000000000000003", "id3" : "serverId", "id1" : "23878046284" }
{ "_id" : "g0pvRKGPn45", "id2" : "000000000000000004", "id3" : "serverId", "id1" : "82622388586" }
{ "_id" : "b6TuOm274H7", "id2" : "000000000000000005", "id3" : "serverId", "id1" : "74870401868" }
{ "_id" : "Q7yYbmIRag9", "id2" : "000000000000000006", "id3" : "serverId", "id1" : "600664002610" }
查询语句:依据id2作为查询条件,返回所有值

平均行长110个字节
5G数据量下,表的大小50G,三个索引大小_id 25G,,id2 17G id1 17G
{
        "ns" : "dnsdb.dnscoll",
        "count" : 499999999,
        "size" : 52790399288,
        "avgObjSize" : 105.5807987871616,
        "storageSize" : 62862102144,
        "numExtents" : 50,
        "nindexes" : 3,
        "lastExtentSize" : 2146426864,
        "paddingFactor" : 1,
        "systemFlags" : 0,
        "userFlags" : 0,
        "totalIndexSize" : 64073529632,
        "indexSizes" : {
                "_id_" : 27570567584,
                "id2_1" : 18168911600,
                "id1_1" : 18334050448
        },
        "ok" : 1
}

每个索引的创建时间6个半小时
在2.4.6下索引创建的background参数没有效果,依然阻塞本database的查询、写入操作。不知道其他 版本有没有这个问题

数据预热的方法:
移动数据文件到内存
for file in /data/db/route.*
do
dd if=$file of=/dev/null
 done

移动集合到内存
use route
db.runCommand({"touch" : "bc", "data" : true, "index" : true})

前两种方式都不会再mongostat的res里看到
如何预热一个索引
db.users.find({}, {"_id" : 0, "friends" : 1, "date" : 1}). hint({"friends" : 1, "date" : 1}).explain()

来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/22034023/viewspace-1072586/,如需转载,请注明出处,否则将追究法律责任。

转载于:http://blog.itpub.net/22034023/viewspace-1072586/

mongodb地理信息应用 1. 二维空间索引      MongoDB支持二维空间索引,这是设计时考虑到基于位置的查询。例如“找到离目标位置最近的N条记录”。并且可以有效地作为附加条件过滤。      如果需要使用这种索引,应确定对象中存储的字段是子对象或数组,前两个元素为X,Y坐标。 在文件中,存储的地理位置结构为: { loc : [ 50 , 30 ] }   { loc : { x : 50 , y : 阅读详情

相关推荐

单机版MongoDB插入了亿万条数据之后...

最近因为公司的一个业务迁移,需要对单机MongoDB做一个简单的测试,在写入了亿万条数据之后,数据库的性能还是受到了一些影响的,这里简单记录下。因为是非关键业务,且通过统计得出每秒的写入请求数大约是 700 ,每秒的读取请求数大约是10 ,写入请求的入库对于实时性没有太高的要求,所以整个测试不会追求极致性能。01测试机器的基本信息如下,双核,8GB 内存。磁盘方面,物理机上是SAS接口的机械硬盘,使用dd命令测试吞吐量大约为160MB/s。----------------------------------

weixin_47284169的博客 3176

MongoDB千万级数据性能测试

MongoDB千万级数据性能测试

淡淡的说非 3331

手动安装SeuratData包中pbmc3k数据集的详细步骤与避坑指南

本文提供了手动安装SeuratData包中pbmc3k数据集的详细步骤与避坑指南。针对国内用户网络不稳定导致自动下载失败的问题,文章核心介绍了如何从错误信息中获取下载链接,使用浏览器或下载工具完成手动下载,并通过指定本地文件路径和参数在R中成功安装。该方法同样适用于SeuratData包中的其他数据集,是单细胞分析入门的必备生存技能。

weixin_29054399的博客 185

MongoDB数据预热

MongoDB数据预热 Mongodb访问磁盘中的数据要比访问内存中的数据慢得多,而且mongodb的内存是依靠操作自身管理的,不想mysql中中的innodb,存储引擎,还需要管理自己的内存调配.因此事先将磁盘中的数据加载到内存中可以大大提高mongodb的性能。 将数据库/数据目录移至内存:for file in /data/db/brains.* do dd if=$file of=/dev...

weixin_34162629的博客 540

STM32F407+LAN8720A+LwIP实战:FreeModbus TCP从机功能开发指南

本文详细介绍了基于STM32F407和LAN8720A硬件平台,结合LwIP协议栈实现FreeModbus TCP从机功能的开发指南。内容涵盖硬件连接、LwIP移植、FreeModbus TCP从机实现、任务调度及调试技巧,为工业控制领域的以太网通信开发提供实用参考。

weixin_29190651的博客 547

E2000 RGMII0通讯异常问题总结

飞腾E2000 RGMII接YT8521,RGMII0路不通问题。

乌拉大喵喵 1632

MongoDB的真正性能

最近开始研究MySQL和MongoDB,发现这方面资料不多。尤其是真正的说到点子上的文章,太少了。 有一些对比测试的文章基本上都是瞎测,测试方法都测到了马腿上,得出的结论基本上都是NoSQL毫无价值 容我借用Russell Smith 的那句话:不是MongoDB不行,是你不懂。 让我来分析一下MongoDB的真正性能吧。 有说MongoDB慢   反对:不设其他唯一索引的情况...

dianjupi9036的博客 862

STM32实战:滑模观测器与PLL锁相环融合的FOC无感控制精解

本文深入解析了STM32平台下结合滑模观测器(SMO)与PLL锁相环的无感FOC控制技术。通过实战案例详细介绍了PLL锁相环在消除SMO高频抖振、提升角度跟踪精度方面的关键作用,并分享了工程调参技巧、C语言实现细节及系统联调方法,为电机控制开发者提供了一套完整的解决方案。

weixin_30838873的博客 190

MongoDB C100DEV 认证考试

版权信息 本文为优快云 博主luopotaotao原创,转载请注明出处 欢迎加群交流探讨 218368963【MongoDB C100DEV】 MongoDB C100DEV 认证考试于2017/05/16参加了MongoDB的开发者认证考试.目前考试结果尚未出来. 在准备过程中,发现相关资料少之又少,搜索相关关键字几乎没有相关结果, 在此简单介绍一下该考试及准备流程,为其他有需要的爱好者提供一些

Coding changes the world 3426

ADG同步性能优化:如何正确配置standby redolog避免WAIT_FOR_LOG状态

本文深入剖析了Oracle ADG(Active Data Guard)同步中常见的WAIT_FOR_LOG状态,指出其根源在于Standby Redo Log(SRL)配置不当。文章提供了从诊断到优化的完整实践指南,重点阐述了SRL大小匹配、组数充足等黄金配置法则,帮助架构师从根本上避免同步延迟,实现稳定高效的实时数据同步。

weixin_29200485的博客 335

Winform中使用EasyPlayer-RTSP-Win开源组件实现播放RTSP视频流

场景 开源RTMP组件EasyPusher-Android+EasyDarwin实现APP推流给RTSP流媒体服务器: 开源RTMP组件EasyPusher-Android+EasyDarwin实现APP推流给RTSP流媒体服务器_BADAO_LIUMANG_QIZHI的博客-优快云博客 上面介绍了RTSP相关的开源组件,如果要在Windows中实现对RTSP视频流的播放, 可以使用开源组件EasyPlayer-RTSP-Win GitHub - tsingsee/EasyPlayer-RTSP

BADAO_LIUMANG_QIZHI的博客 1万+

mongodb 搜索速度_mongoDB各种查询方式执行效率测试

最近正在使用mongoDB,使用官方的C# Drivers,对于不同的方式执行的效率(时间)不一样的。下面我们开始进入主题 :启动本地mongoDB数据库> mongod -dbpath data现在数据库有一个User表,大约有100万行数据。>db.myuser.count()> 1000005其中,age字段已设置为索引> db.entities.ensureInde...

weixin_39615984的博客 2247

【推荐100个unity插件】制作美丽 Unity 景观,增强Terrain材质表现的插件——GTS

GTS地形着色器是一款专为Unity设计的强大工具,可解决地形纹理绘制和光照处理的难题。它提供一键式配置,支持实时调整地形效果,包含细节注入、高度混合、雪注入等核心功能,并兼容网格地形和低多边形模型。插件完美集成Gaia天气系统,支持HDRP细分效果。安装后通过GTS管理器创建配置文件并应用到地形,即可快速生成高质量地形渲染。其模块化设计包含全局设置、网格转换和细节调整等面板,使开发者能灵活控制地形表现,显著提升视觉效果与性能表现。

向宇的博客,专注php/web全栈 unity游戏开发,欢迎大家评论纠错 1568

如何使用YCSB对mongodb数据库进行性能测试

最近接到一个活需要对mongodb数据库的写入进行性能测试,之前从未接触过这方面的东西,经过一番搜索后发现了YCSB(全称为Yahoo!Cloud Serving Benchmark),该性能测试工具由Java语言编写,主要用于云端或者服务器端的数据库性能测试工具,其内部涵盖了常见的NoSQL数据库产品,如Cassandra、MongoDB、HBase、Redis等等,在此记录一下过程。

梧桐的博客 1638

《YOLO11改进有效涨点》 专栏目录 | 目前已有100+篇内容,内含各种Head检测头、损失函数Loss、Backbone、Neck等创新点改进【持续更新】

YOLO11改进专栏目录,YOLO11改进目录

kay_545 1万+

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

基于MongoDB 2dSphere索引查找最近的点

在移动端普及的今天,LBS应用需求也越来越大。比如查找附近的人,最近的餐厅等。面对这些需求,MongoDB提供了功能完备的解决方案。下面通过一个案例讲诉如何用mongoDB做位置搜索。 在这个图片中,有A B C D E F G,假如我是搜索点A。我想查找离自己最近的点。下面是具体的操作步骤: 1.建立集合和索引。sp为建立索引的字段名,我们建立的索引类型是2dsphere #创建2

静静的爱着你 6619

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

MongoDB 最近遇到的几个小问题

(1)连接数据库时报错 ERROR Topshelf.Hosts.ConsoleRunHost.Run 1 An exception occurred System.TimeoutException: A timeout occured after 30000ms selecting a server using CompositeServerSelector 错误原因...

weixin_30685047的博客 6154

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

温度PID控制PLC程序

温度PID稳定控制程序,适用于欧姆龙PLC,对其他PLC也具有很大参考价值

MongoDB学习笔记5 - 测试查询性能

大规模数据导入实验在上一个实验 中,我们测试了导入数据的性能,简单总结一下测试方法:1. Schema: 每行数据三个字段,日期、ID和当日流量,都是长整型2. Index: inventory.create_index([('date',ASCENDING), ('id',ASCENDING)], unique=False, dropDups=False)3. 用mongoimport导入csv数据随后我们在大规模的数据上进行了测试,导入360天的数据,每天100万行记录。同样的数据导入两次,由于索

李旸的专栏 2427

软件测试—Python操作MongoDB

如题

路飞 317

mongodb mysql读写_MySQL vs MongoDB 1000读取

我对MongoDb感到非常兴奋,并且最近对其进行了测试。我在MySQL中有一个名为posts的表,其中大约2000万条记录仅在名为“ id”的字段上建立索引。我想将速度与MongoDB进行比较,然后运行了一个测试,该测试将从我们的大型数据库中随机获取并打印15条记录。我为mysql和MongoDB分别运行了约1,000次查询,但我很惊讶我没有注意到速度上的很大差异。也许MongoDB快1.1倍。真...

weixin_35020639的博客 271

记一次使用ycsb工具对mongodb进行性能测试过程

前言 最近在做性能测试,目的是要优化mongodb的性能,要求5w qps,mongodb已经做了分片,三台mongo shard存储,三台mongos 路由,三台configserver,用于记录路由和存储的对应关系。 YCSB简介 ycsb是一款性能测试工具,用Java写的,并且什么都可以压,像是mongodb,redis,mysql,hbase,等等,感觉还是很厉害的。并且是有apache2.0的认证的,官网在github上,有讲如何安装和使用,个人建议放到pod中执行,比较方便。 其中mongodb

u012803274的博客 1708

JMH基准测试,看我怎么用它来测试mongodb的数据加载性能

不花时间的导读:这是新开的《技术扫盲》系列的第一篇文章,主要分享我日常遇见的觉得新奇的技术,后续会分享游戏外挂相关的技术,有兴趣的关注下。「主管小肥肥:」 最近我们这边引入了mongodb...

qq_24557827的博客 280

etcd 和 MongoDB 的混沌(故障注入)测试方法

最近在对一些自建的数据库 driver/client 基础库的健壮性做混沌(故障)测试, 去验证了解业务的故障处理机制和恢复时长. 主要涉及到了 MongoDB 和 etcd 这两个基础组件. 本文会介绍下相关的测试方法.

ShanSan 1208

mongodb报错lockbusy_MongoDB 最近遇到的几个小问题

(1)连接数据库时报错ERROR Topshelf.Hosts.ConsoleRunHost.Run 1An exception occurredSystem.TimeoutException: A timeout occured after 30000ms selecting a server using CompositeServerSelector错误原因是和转义字符有关。连接字符串使用的U...

weixin_39824801的博客 970

springboot整合mongoDB写一套简单的增删改查demo

最近在弄nosql,然后今天用到了MongoDB,所以正好写一篇博客。 先说说nosql的理念:简单来说、nosql就是不是关系型数据库,里面的存储关系也不是表存储,二是由键值对或者文档等形式存储的数据。而在MongoDB这里,nosql又有了一种新的解释:not only sql 即不仅仅数数据库,它能做一些数据库所不能做的东西。但是今天是基于springboot的一套小demo,所以就不写那么...

ZEROl_的博客 680
上一篇: monitor and assess Redo Apply performance
下一篇: mongodb local数据库的空间初始化好大啊!
cotchte0421
博客等级 码龄12年 5粉丝 110原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符  | 博主筛选后可见
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值