记录一次MongoDB3.0.6版本wiredtiger与MMAPv1引擎的写入耗时对比

MongoDB生产实战:分片键选型、索引优化与WiredTiger调优 MongoDB作为主流文档数据库,其核心价值在于灵活Schema、高吞吐写入与水平扩展能力,但这些优势能否落地,取决于对存储引擎原理、查询执行路径和分布式拓扑的深度理解。WiredTiger引擎的文档级锁、cache机制与journal策略,直接决定写入延迟与内存稳定性;而索引有效性并非由字段存在决定,而是由基数(cardinality)和查询选择性(selectivity)共同约束;分片键更不是技术选型,而是对业务写入流量与查询模式的数学建模——如user_id哈希分布可规避热点,timestamp则必然 阅读详情
MongoDB3.0.x的版本特性(相对于MongoDB2.6及以下):

 

增加了wiredtiger引擎:

 

开源的存储引擎;

 

支持多核CPU、充分利用内存/芯片级别缓存(注:10月14日刚刚发布的3.0.7版本中,进一步改进了内存操作的性能);

 

基于B-TREE及LSM算法;

 

提供文档级锁(document-level concurrency control),类似于关系型数据库的的行级锁;

 

支持文件压缩(其中snappy压缩机制可以在5%的额外CPU消耗,减少70%的空间使用,也可以根据需要调节压缩比例),三种压缩类型:

 

不压缩;

 

Snappy压缩:默认的压缩方式, Snappy是在谷歌内部生产环境中被许多项目使用的压缩库,包括BigTable,MapReduce和RPC等,压缩速度比Zlib快,但是压缩处理文件的大小会比Zlib大20%-100%, Snappy对于纯文本的压缩率为1.5-1.7,对于HTML是2-4,对于JPEG、PNG和其他已经压缩过的数据压缩率为1.0。在I7 i7 5500u 单核CPU测试中,压缩性能可在200M/s-500M/s;

 

Zlib压缩: Z1ib是一个免费、通用、跨平台、不受任何法律阻碍的、无损的数据压缩开发库,相对于Snappy压缩,消耗CPU性能高、压缩速度慢,但是压缩效果好。

 

MMAPv1引擎(MongoDB2.6及以下版本用的是MMAP引擎):

 

collection锁(collection-level concurrency control),在MMAP版本中,只提供了database的锁(既当一个用户对一个collection进行操作时,其他的collection也被挂起);

 

无缝迁移(MMAP版本的数据可以在线迁移至MMAPV1版本,也可以迁移至wiredtiger引擎中)。

 

可插拔的存储引擎API(类似于mysql的多引擎驱动)

 

通过不同的数据引擎来满足不同的数据需求;

 

未来更多的场景扩展。

 

Ops manager(MongoDB企业版提供的功能)

 

居于web的图形管理界面

 

减少日常日常和配置的工作

 

测试环境:

 

服务器硬件配置:172.16.16.169 CPU:2*E5620@ 2.40GHz、内存:8G

 

客户端硬件配置:172.16.40.92 CPU: 4*I5-4300U@ 1.90GHz、内存:4G

 

数据库:mongodb V3.0.6

 

开发环境:python3.4.3、pycharm4.5.4

 

测试前提:已安装完成了mongodb、python、pycharm

 

测试场景:插入100万条数据的时间消耗对比;

 

1. 在服务器端启动MongoDB(默认为MMAPv1引擎,默认端口为27017,在MongoDB的安装目录中启动MongoDB,定义数据和日志路径):

#./mongod --dbpath=/data/db --logpath=/data/log 

 

2. 登录MongoDB:

#./mongo

 

3. 查看当前的引擎状态:

> db.serverStatus()

"storageEngine" : {

"name" : "mmapv1"

 

4. 在服务器端启动MongoDB(WiredTiger引擎,端口:11111,在MongoDB的安装目录中启动MongoDB,定义数据和日志路径,定义WiredTiger引擎):

#./mongod --dbpath=/data/wiredtiger --logpath=/data/wiredtiger/log

 

5. 登录至启动了WiredTiger引擎的Mongodb:

#./mongo127.0.0.1:11111 

 

6. 查看当前的引擎状态:

> db.serverStatus()

"storageEngine" : {

"name" : "wiredTiger"

 

7. python连接MongoDB MMAPv1写入配置:

 

 

importtime
import datetime
importtimeit
importmath
ISOTIMEFORMAT = '%Y-%m-%d %X'

from pymongo import MongoClient
mc = MongoClient("172.16.16.169",27017)
db = mc.users
def dateDiffInSeconds(date1,date2):
timedelta = date2 - date1
return timedelta.days*24*3600 +timedelta.seconds
date1 = datetime.datetime.now()
db.users.drop()
for iin range(0,1000000) :db.users.insert({"name":"ljai","age":i,"addr":"fuzhou"})
c = db.users.find().count()
print("count is ",c)
date2 = datetime.datetime.now()
print(date1)
print(date2)
print(dateDiffInSeconds(date1,date2),"seconds")
mc.close()

 

8. 测试结果:1000万条数据写入花费了12分钟28秒:

2、 python连接MongoDB WiredTiger写入配置:

 

importtime
import datetime
importtimeit
importmath
ISOTIMEFORMAT = '%Y-%m-%d %X'

from pymongo import MongoClient
mc = MongoClient("172.16.16.169",27017)
db = mc.users
def dateDiffInSeconds(date1,date2):
timedelta = date2 - date1
return timedelta.days*24*3600 +timedelta.seconds
date1 = datetime.datetime.now()
db.users.drop()
for iin range(0,1000000) :db.users.insert({"name":"ljai","age":i,"addr":"fuzhou"})
c = db.users.find().count()
print("count is ",c)
date2 = datetime.datetime.now()
print(date1)
print(date2)
print(dateDiffInSeconds(date1,date2),"seconds")
mc.close()

 

9. 测试结果:1000万条数据写入花费了10分3秒:

100万条的数据写入,WireTiger引擎会比MMAPv1快一些,后续再继续其他方面的性能测试。

MongoDB 3.6到4.2升级实战:从零开始的集群升级避坑指南 本文是一份详尽的MongoDB集群升级实战指南,重点介绍了从3.6版本升级到4.2版本的全流程。内容涵盖升级前的深度评估、数据备份与回滚方案制定,并详细拆解了从3.6到4.0、再从4.0到4.2的分步操作、避坑要点与验证方法,旨在帮助运维人员安全、平稳地完成此次重要升级。 阅读详情

相关推荐

Ubuntu 14.04下MongoDB备份避坑指南:为什么不能用cp/rsync

MongoDB备份本质是获取数据库在某一时刻的一致性状态,而非简单复制文件。其核心原理依赖存储引擎(如mmapv1)的事务日志(journal)与数据文件强一致性,以及oplog机制保障副本集数据同步。技术价值在于实现RPO≈0的可靠恢复能力,避免静默数据丢失。典型应用场景包括老旧系统(如Ubuntu 14.04)迁移、灾备演练和生产环境定期备份。本文聚焦mmapv1引擎下cp/rsync导致journal错位、索引损坏等风险,并详解mongodump/mongorestore配合--oplog、--dro

weixin_34152820的博客 407

【个人总结】Mongodb安装下载

【个人总结】Mongodb安装下载

junR_980218的博客 1384

MongoDB 6.0生产级实战:副本集部署、文档建模与性能调优

MongoDB作为主流文档型数据库,其核心价值在于灵活的数据模型与高可用架构的结合。理解WiredTiger存储引擎原理、副本集选举机制和文档嵌入式设计范式,是构建稳定服务的基础。本文聚焦真实业务场景下的关键决策:为何三节点副本集是生产环境起点而非分片集群?如何通过时间分桶与复合索引实现亿级行为数据的毫秒查询?怎样基于oplog大小计算、cacheSizeGB调优和连接池配置,将MongoDB从‘能用’升级为‘稳用’。内容覆盖MongoDB 6.0 LTS版本在Docker环境中的全链路落地,涵盖部署、建模

weixin_33847182的博客 416

MongoDB 初体验:存储引擎 MMAPv1 与高内存消耗及升级迁移

想不到我和MongoDB的第一次亲密接触竟然是这样开始的。当我对公司的一个内部系统性能无可忍受时,意外发现在这个内存仅为 32G 的服务器上,运行着一个 MongoDB ...

Enmotech的博客 3032

MongoDB事务实战:从Windows本地搭建到生产级副本集配置

MongoDB事务并非开箱即用的功能,而是建立在WiredTiger存储引擎、副本集架构与journal日志协同之上的强一致性机制。其核心原理是通过MVCC快照隔离与oplog多数派写入,在最终一致性底座上构建ACID窗口;技术价值在于保障跨文档操作的原子性与数据持久性,适用于电商订单、库存扣减等关键业务场景;但必须满足4.0+版本、启用journal、强制副本集模式三大硬性前提。本文聚焦Windows环境下的mongod启动失败修复、单节点副本集初始化、权限配置及Node.js/Python客户端事务编码

weixin_33850890的博客 423

Ubuntu 14.04下MongoDB备份避坑指南:为何不能复制data目录

MongoDB备份本质是保障数据逻辑一致性,而非简单文件拷贝。其核心依赖存储引擎(如WiredTiger或MMAPv1)的事务日志、检查点与元数据协同机制,直接复制data目录会破坏这种强一致性,导致恢复失败。在Ubuntu 14.04这类老旧环境中,问题更突出:默认MongoDB 2.4/2.6版本缺乏现代引擎保护,Upstart进程管理不可靠,且系统级限制(如inodes耗尽、ulimit过低、权限缺失)极易引发mongodump命令未找到或静默失败。因此,必须采用官方推荐的mongodump/mong

weixin_34216196的博客 351

【赵渝强老师】MongoDB的MMAPv1存储引擎

名称空间的元数据里包含指向第一个及最后一个extent的位置指针,通过这些信息,就可以遍历一个名称空间下的所有extent数据。每个Database可以包含多个Namespace名称空间文件,该名称空间对应MongoDB中的集合,名称空间文件文件实际上是一个Hash表,可用于快速定位某个集合的起始位置。每个Extent包含多个Record,该Record对应MongoDB集合中的Document),同一个Extent下的所有Record以双向链表形式组织。(6)查看目录/data/mmapv1下的文件。

赵渝强老师优快云博客主页 1149

MongoDB事务实战:从单节点到副本集的ACID落地指南

MongoDB事务并非开箱即用的基础能力,而是建立在WiredTiger存储引擎、副本集(replica set)架构与应用驱动协同之上的ACID保障机制。其核心原理依赖oplog日志、多数派写入确认(majority write concern)和文档级锁,技术价值在于实现跨集合、跨数据库的原子操作,支撑电商下单扣库存、金融跨库转账等强一致性场景。本文聚焦真实工程落地,覆盖Windows/Linux本地环境搭建、journal启用验证、rs.initiate初始化、连接字符串关键参数(replicaSet

393

Linux下安装MongoDB详细步骤(附百度云MongoDB3.0.6安装包及ftp安装包)

【版权所有,文章允许转载,但须以链接方式注明源地址,否则追究法律责任】 【创作不易,点个赞就是对我最大的支持】 前言 仅作为学习笔记,供大家参考 目录前言前期准备一、下载MongoDB二、使用ftp上传tgz包到/usr/local/src/MongoDB路径下三、解压tgz包,将解压后的文件夹重命名为mongodbserver四、进入mongodbserver文件夹,创建db、log、etc文件夹五、进入mongodbserver/etc文件夹下创建mongodb.conf,并设置以下参数六、启动mo.

q_1092535160的博客 1405

MongoDB生产级部署与性能调优实战指南

MongoDB作为主流文档型数据库,其性能表现高度依赖部署架构、存储引擎行为与查询优化策略。理解WiredTiger缓存机制、副本集仲裁逻辑和复合索引最左前缀原理,是避免慢查询、连接耗尽与数据不一致的关键。技术价值在于将理论决策转化为可验证的工程实践:如通过调整cacheSizeGB降低P99延迟,用rs.status()和explain('executionStats')定位真实瓶颈,而非依赖默认配置。典型应用场景涵盖电商订单建模、日志TTL清理、高并发会话管理及跨集合聚合加速。本文聚焦MongoDB部署

weixin_30647065的博客 347

Materials Studio新手必看:COD数据库快速查询与晶体文件导入实战

本文为Materials Studio新手提供了从COD数据库快速查询晶体结构到成功导入软件的完整实战指南。详细解析了CIF文件格式、高效检索技巧、关键导入步骤及常见问题排错,帮助计算化学初学者高效获取可靠结构数据,为后续模拟计算奠定坚实基础。

weixin_29290259的博客 1065

MongoDB存储引擎发展及WiredTiger深入解析(二)

WiredTiger的Cache采用Btree的方式组织,每个Btree节点为一个page,root page是btree的根节点,internal page是btree的中间索引节点,leaf page是真正存储数据的叶子节点。这些机制的结合使得WiredTiger能够在大规模数据存储和高并发访问的场景下,提供高性能和高可靠性的数据存储解决方案。未来,随着技术的不断发展和应用场景的不断拓展,MongoDB和WiredTiger将继续优化和演进,为开发者提供更加高效、稳定和灵活的数据存储解决方案。

码到三十五 1928

同态加密与SEAL库实战:CKKS参数调优避坑指南

本文深入探讨了同态加密技术中CKKS方案的参数调优实践,重点解析了SEAL库中`poly_modulus_degree`、`coeff_modulus`和`scale`三大核心参数的配置技巧与避坑指南。通过实战案例展示了如何平衡计算深度、精度与性能,为开发者提供了一套完整的参数优化方法论,帮助避免常见的'scale out of bounds'等错误,显著提升同态加密应用的可靠性和效率。

weixin_29315569的博客 230

MongoDb 的 MMAPv1 和 WiredTiger 存储引擎空间对比(800万文档 )

mongodb 的 MMAPv1 和 WiredTiger 存储引擎空间对比(800万文档 )

我要去桂林-田春峰 7805

实用软件工程(第2版)吕云翔编简答题部分答案(自用整理)

整理自用

m0_61217768的博客 4109

避开PSRR仿真三大坑:用Cadence psspxf分析分频器时,这些设置错了白忙活

本文深入探讨了使用Cadence psspxf工具进行分频器PSRR仿真时常见的三大技术陷阱,包括扰动信号参数设置、收敛性优化和后处理信号提取。通过详细的参数推荐和实战技巧,帮助工程师避免仿真误差,提升PSRR分析效率与准确性,特别适用于16分频器等数字-模拟混合电路设计。

weixin_29258297的博客 304

Ubuntu 20.04下MongoDB迁移避坑指南:systemd、WiredTiger与OOM协同调优

MongoDB数据迁移本质是跨层资源协商过程,涉及数据库引擎(WiredTiger)、操作系统(systemd服务管理)和内存治理(OOM killer)三者协同。其核心原理在于:WiredTiger缓存机制与systemd健康检查存在时序冲突,而Ubuntu 20.04默认启用的systemd-oomd会依据RSS增长速率误杀高负载下的mongod进程。这一技术矛盾导致mongodump/mongorestore在生产环境中频繁卡死或静默失败。工程实践中需通过超时调优、OOM评分抑制、cacheSizeG

angw337679452的博客 365

Python实战:基于PyG和Stable-Baselines3复现柔性车间调度算法(附数据集)

本文提供了一份基于图神经网络与深度强化学习的柔性车间调度实战指南。通过PyTorch Geometric构建异构图表示车间状态,并利用Stable-Baselines3中的PPO算法训练调度智能体,详细介绍了从环境建模、网络设计到训练评估的完整代码实现,帮助开发者构建可复用的工业级智能调度系统。

ansible6ops的博客 608

【亲测可用】实在太快了!如何在Linux下5分钟快速安装MongoDB

MongoDB 是一款介于关系数据库和非关系数据库之间的产品,是非关系数据库当中功能最丰富,最像关系数据库的。他支持的数据结构非常松散,是类似json的bson格式,因此可以存储比较复杂的数据类型。Mongo最大的特点是他支持的查询语言非常强大,其语法有点类似于面向对象的查询语言,几乎可以实现类似关系数据库单表查询的绝大部分功能,而且还支持对数据建立索引。本文主要介绍了mongoDB的下载,安装部署,配置,和初级使用,下一篇我们将带来mongoDB的具体使用。

流子的专栏 3370

AI大模型助力现金流精准预测案例详解

因为它的“注意力机制”能像“人一样思考”——比如,当预测“下周现金流”时,模型会重点关注“最近7天的销售数据”“未来7天的天气”“竞品是否有促销”这些关键因素,而忽略“去年同期的无关数据”。AI大模型不是“取代”财务人员,而是“赋能”他们——把财务人员从“重复的Excel操作”中解放出来,专注于“战略决策”(比如如何优化资金结构、如何提升资金利用率)。比如,“促销力度”这个特征,不是简单的“折扣率”,而是“折扣率×促销天数×覆盖SKU数量”,这样能更准确反映促销对现金流的影响。这些问题的核心,其实是。

AIGC应用创新大全的博客 1261

YOLOv8改进 | Conv篇 | DWRSeg扩张式残差助力小目标检测 (附修改后的C2f+Bottleneck)

本文内容给大家带来的DWRSeg中的DWR模块来改进YOLOv8中的C2f和Bottleneck模块,主要针对的是小目标检测,主要创新点可以总结如下:多尺度特征提取机制的深入研究和创新的DWR模块和SIR模块的提出这种方法使得网络能够更灵活地适应不同尺度的特征,从而更准确地识别和分割图像中的物体。通过本文你能够了解到DWRSeg的基本原理和框架,并且能够在你自己的网络结构中进行添加(DWRSeg需要增加一定的计算量一个DWR模块大概增加0.4GFLOPs)。

Snu77的博客 9578

MongoDB 入门到精通全指南

本文介绍了MongoDB的安装与集群部署指南,涵盖单机模式和集群模式(副本集与分片集群)的详细配置步骤。主要内容包括: 单机安装:提供在线/离线两种方式,解决常见依赖问题,特别针对内网环境给出完整离线部署方案; 集群部署:重点讲解3节点副本集的配置流程,包括hosts设置、配置文件修改和初始化命令; 分片集群架构:说明核心组件(Config Server、mongos路由层、Shard分片)的关系; 关键注意事项:强调跨节点解析、防火墙配置、时钟同步等生产环境必须检查的要点; 报错处理:整理典型安装错误的排

qq_45855256的博客 468

分布式爬虫架构实战:Scrapy+RabbitMQ+浏览器池,百万级数据抓取成本直降60%(附架构图+源码)

任务调度瓶颈:Redis 作为消息队列,不支持复杂任务优先级,高并发下容易消息堆积,且单点故障会导致全量任务丢失;资源浪费严重:每个爬虫节点每次爬取动态页面都启动新浏览器,启动耗时3-5秒,CPU 占用率高达80%+,单机最多同时跑3个浏览器;扩展性差:新增节点需要手动同步任务队列,节点忙闲不均,无法根据任务量动态分配资源。# 从settings读取RabbitMQ配置# 注册信号:爬虫关闭时关闭RabbitMQ连接"""启动时建立RabbitMQ连接"""

专注于Python爬虫开发,分享爬虫技巧、项目实战与反爬经验,使用Scrapy、BeautifulSoup等工具,解决数据抓取难题。 1619

MongoDB可扩展性实战:从单机到分片集群的落地骨架

MongoDB可扩展性并非简单堆硬件或开分片,而是以副本集(replica set)为高可用基石、以合理分片键设计实现水平伸缩的核心能力。其本质是数据模型、存储引擎(WiredTiger)、Oplog同步机制与自动化恢复策略的系统性协同。技术价值在于保障流量突增、节点故障、网络分区等异常场景下的持续服务——即RTO<30秒、RPO=0的生产级弹性。典型应用场景覆盖电商订单扩容、IoT设备海量写入、金融实时交易等对一致性与吞吐双敏感领域。本文聚焦replica set部署要点与sharding落地断层,直击‘

weixin_30328063的博客 407

怀旧版电脑GBC模拟器

再现原版GBC掌机的界面,电脑运行连游戏界面都一样大小,很怀旧,很真实,(英文版)强烈推荐,很小的文件,很难才找到的。

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

上一篇: 谷歌三篇论文之三---BigTable
下一篇: Http协议详解
时冲
博客等级 码龄15年 12粉丝 35原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值