【MongoDB】如何将MongoDB改造成内存数据库

最新推荐文章于 2025-05-26 00:05:19 发布
原创 最新推荐文章于 2025-05-26 00:05:19 发布 · 4.7k 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#数据库 #mongodb

本文介绍了如何将MongoDB改造成内存数据库以满足特定测试需求。主要探讨了三种方法：利用tmpfs和ramfs作为内存文件系统，以及修改源码启用in_memory参数。通过这些方式，可以在MongoDB的WiredTiger存储引擎中实现数据驻留内存，提高性能。需要注意的是，启用内存模式可能与日志功能冲突，需要正确设置日志选项。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

日前有测试需求将MongoDB改成内存数据库。我们知道MongoDB有一个In-Memory存储引擎，但是社区版不能用。所以我们自己想办法将MongoDB改造成内存数据库，经过探索，有三种方式。
研究版本：mongo-3.4

方式一：使用tmpfs作为文件系统

方式二：使用ramfs作为文件系统

这两种方式的思路都差不多，使用一个内存模拟文件系统，由于替换了磁盘文件系统，数据就保留在内存中。

方式三：修改源码设置in_memory参数

其实wiredtiger本身就支持将数据保留在内存中不刷盘，MongoDB的内存引擎估计也是利用wt的这一特性。wiredtiger.in文件中，wiredtiger_open()函数会传入配置信息config，函数前面的注释详细解释了有哪些配置项，其中就列出了in_memory配置，如下图说明。
这里写图片描述

如果修改源码传入in_memory=true编译还是会报错，提示incompatible argument in-memor。
这里写图片描述</

最低0.47元/天 解锁文章

200万优质内容无限畅学
Mongodb存储特性与内部原理
u012565458的博客
01-09 1202
一、存储引擎（Storage） mongodb 3.0默认存储引擎为MMAPV1，还有一个新引擎wiredTiger可选，或许可以提高一定的性能。 mongodb中有多个databases，每个database可以创建多个collections，collection是底层数据分区（partition）的单位，每个collection都有多个底层的数据文件组成。（参见下文data files存储原理） wiredTiger引擎：3.0新增引擎，官方宣称在read、insert
【MongoDB系列 04】突破单机瓶颈！MongoDB分片集群让你的数据库性能提升10倍
最新发布
熵数实验室
06-10 743
当单机MongoDB无法承载海量数据和高并发时，分片集群就是你的救星！本文从一个真实的业务痛点出发，用通俗易懂的方式深入讲解MongoDB分片集群的架构原理、分片键设计策略、集群部署实战和性能优化技巧。我们将学习如何突破单机性能瓶颈，实现TB级数据的水平扩展，掌握自动数据平衡机制，构建真正高可用的分布式数据库系统。无论你是要应对数据爆炸增长，还是追求极致的读写性能，这篇文章都将为你打造坚不可摧的数据底座！
将MongoDB作为Redis式的内存数据库的使用方法
09-10
主要介绍了将MongoDB作为Redis式的内存数据库的使用方法,原理其实只是将内存虚拟作为磁盘,需要的朋友可以参考下
MongoDB与内存（转）
weixin_30435261的博客
09-11 176
原文地址：http://huoding.com/2011/08/19/107 但凡初次接触MongoDB的人，无不惊讶于它对内存的贪得无厌，至于个中缘由，我先讲讲Linux是如何管理内存的，再说说MongoDB是如何使用内存的，答案自然就清楚了。 据说带着问题学习更有效，那就先看一个MongoDB服务器的top命令结果： shell> top -p $(pidof mongo...
深入解析MongoDB WiredTiger存储引擎：原理、优势与最佳实践
vvilkin的学习备忘
05-26 1200
在当今数据驱动的时代，数据库性能直接关系到应用程序的用户体验和业务效率。作为MongoDB从3.2版本开始的默认存储引擎，WiredTiger凭借其卓越的性能和创新的架构设计，已经成为现代NoSQL数据库技术的典范。本文将全面剖析WiredTiger存储引擎的工作原理、核心特性以及实际应用中的最佳实践，帮助开发者充分理解和利用这一强大的存储技术。
基于tmpfs使用mongoDB
SAN_YUN的专栏
08-28 323
基本思想 将MongoDB用作内存数据库（in-memory database），也即，根本就不让MongoDB把数据保存到磁盘中的这种用法，引起了越来越多的人的兴趣。这种用法对于以下应用场合来讲，超实用： 置于慢速RDBMS系统之前的写操作密集型高速缓存 嵌入式系统 无需持久化数据的PCI兼容系统 需要轻量级数据库而且库中数据可以很容易清除掉的单元测试（unit tes...
mongodb
climbs的专栏
02-21 800
工作中使用mongodb已经好久了，讽刺的是到了最后快离职的时候才有时间好好研究下源码。 印象：mongodb是一个内存数据库，数据都是放到内存里面的，所以速度上不比redis慢。 想法： mongodb对数据的操作大部分都在内存中。但mongodb并不是单纯的内存数据库。甚至个人认为不属于内存数据库。 相反，redis就是一个不折不扣的内存数据库了，mysql一个不折不扣
MongoDB数据库
Peng_zhj的博客
04-01 5859
MongoDB 1）MongoDB介绍 对于社交类软件的功能，我们需要对它的交友/圈子功能特点做分析： 每天发布圈子的动态为海量数据 读多写少 数据价值较低，对事物性要求不高 …… 针对以上特点，我们来分析一下： mysql：关系型数据库，性能较差 redis：内存成本高 对于数据量大而言，显然不能够使用关系型数据库和内存数据库进行存储，我们需要通过MongoDB进行存储 探花交友项目： mysql数据库：存储用户信息等重要数据 redis数据：提高热点数据的查询速度 mongodb：
MongoDB 从菜鸟到精通 万字以上教程
持续学习，持续更新
08-19 1576
MongoDB：是一个数据库 ,高性能、无模式、文档性，目前nosql中最热门的数据库，开源产品，基于c++开发。是nosql数据库中功能最丰富，最像关系数据库的。特性l 面向集合文档的存储：适合存储Bson（json的扩展）形式的数据；l 格式自由，数据格式不固定，生产环境下修改结构都可以不影响程序运行；l 强大的查询语句，面向对象的查询语言，基本覆盖sql语言所有能力；l 完整的索引支持，支持查询计划；l 支持复制和自动故障转移；l 支持二进制数据及大型对象（文件）的高效存储；
mongodb的内存总结
weixin_34355881的博客
02-23 272
纯手打，只是总结了通过多种方式查看mongodb的内存使用情况，并没能提出有效的减少mongodb的内存的方法。都说mongodb吃内存比较厉害，确实很厉害，我的数据级别到达了 4千万，数据量大概是140G，几天下来的话，130G的内存盘，到了60%，没有找到很好的办法前，每次都是重启mongodb，新手，我也不太清楚这个数据量是处于一个怎样的位置，有怎样的优良的解决办法，知...
MongoDB 内存数据库
crlyn的博客
09-25 756
skynet 集成了mongo的driver,monogo_collection:findOne,mongo_collection:findAndmodify,mongo_cursor:next,mongo_client:runCommand,mongo_db:runCommand等接口会返回bson库的解析结果,对于返回需要获得某字段的类型时,使用bson.type会更严谨.bson.type会
Mongodb内存数据库
weixin_34342207的博客
10-24 427
Mongodb的商业版本已经支持内存数据库,但是没有开源,从其官网说明来看,其实也是通过WiredTiger存储引擎实现的.我对mongodb代码做了一些修改,基于官方(r3.2.16)分支,使其成为内存数据库,配置文件上和官网的类似.关于mongodb支持内存数据库的说明见: https://docs.mongodb.com/manual/core/i...
把MongoDB当成纯内存数据库使用
JAVA技术
09-23 190
这种用法对于以下应用场合来讲，超实用： 置于慢速RDBMS系统之前的写操作密集型高速缓存 嵌入式系统 无需持久化数据的PCI兼容系统 需要轻量级数据库而且库中数据可以很容易清除掉的单元测试（unit testing） 如果这一切可以实现就真是太优雅了：我们就能够巧妙地在不涉及磁盘操作的情况下利用MongoDB的查询/检索功能。可能你也知道，在99％的情况下，磁盘IO（特别是随机IO）是...
MONGODB 性能与调优 -- 内存调优 1
sql server的专栏
03-23 3027
最近发生了一些事情，由于之前开发和运维对于MONGODB的了解停留在用而已，已经某些外部原因，导致MONGODB 在某些不可抗力的情况下，出现了问题，导致了我不能说的经济损失。随后公司的非IT 的领导，给出了一句话，没有想到MONGODB 变得如此重要。呵呵，当然MONGODB当然会越来越重要，这不是偶然，这是必然，读写的速度，JSON的天然混成，以及各种加速查询的方式，...
MongoDB如何存储数据
热门推荐
ZH01234565的博客
09-28 1万+
想要深入了解MongoDB如何存储数据之前，有一个概念必须清楚，那就是 Memeory-Mapped Files。 Memeory-Mapped Files 下图展示了数据库是如何跟底层系统打交道的。 (虚拟内存是计算机系统内存管理的一种技术。 它使得应用程序认为它拥有连续可用的内存（一个连续完整的地址空间）， 而实际上，它通常是被分隔成多个物理内存碎片， 还有部分暂时存储在外部磁盘存储器上，在需...
MongoDB - 库、集合、文档（操作 + 演示 + 注意事项）
CYK_byte的博客
01-14 9437
MongoDB 是一个基于。由 C++ 编写，就是为MongDB 是一个之间的产品. 他支持的数据结构非常松散，类似 json 的 bson 格式，因此可以存储比较复杂的数类型. Mongo 最大的特点就是他的查询非常强大，语法类似于面向对象的查询语言，
内存数据库mongodb_内存和磁盘性能如何影响您的MongoDB数据库
culh2177的博客
08-31 1531
内存数据库mongodbThis article was originally published on MongoDB. Thank you for supporting the partners who make SitePoint possible. 本文最初在MongoDB上发布。 感谢您支持使SitePoint成为可能的合作伙伴。 Understanding the relation...
那数据库在大数据中的应用呢
03-18
<think>好的，我现在要回答用户关于数据库在大数据中的应用的问题。用户之前已经问过数据库管理和大数据应用的关系，现在进一步询问数据库在大数据中的具体应用。我需要确保回答结构清晰，结合之前的模板，同时深入技术细节，但又保持易懂。 首先，回顾用户之前的提问和我的回答。之前的回答强调了从Excel到数据库的映射，以及大数据技术的分治思想。现在需要更聚焦于数据库在大数据中的角色，可能包括传统数据库的局限性，大数据时代的新型数据库，以及具体应用场景。 接下来，我需要确定回答的结构。根据用户提供的系统级指令，必须使用分步解决方案的结构，但用户这次的问题更具体，可能需要更直接的介绍。不过按照之前的模板，可能仍然采用分步的方式，比如先说明核心策略，然后分点详细解释。 用户可能希望了解大数据环境下数据库的作用，例如分布式数据库、NoSQL、数据仓库、数据湖等概念。需要将这些概念与实际应用案例结合，比如Hadoop、HBase、Spark等技术的应用场景。 同时，需要保持与Excel的类比，帮助用户理解。例如，传统数据库类似Excel单文件处理，而大数据数据库类似多文件分布式处理，提高处理能力。 另外，用户可能对数据库在大数据中的具体技术如分片、复制、一致性模型等感兴趣，但需要避免过于技术化，保持简洁易懂。可能需要提到ACID与BASE的区别，CAP定理等，但需用简单语言解释。 还要注意提到的工具链，如HDFS、HBase、Cassandra、MongoDB等，以及它们适用的场景，比如HBase适合高吞吐的日志处理，Cassandra适合高可用性的场景。 最后，需要总结数据库在大数据中的关键作用，比如存储、处理、分析，并指出学习路径，如建议学习哪些技术或认证。 需要检查是否符合格式要求：行内公式用$...$，独立公式用$$...$$，但这个问题可能较少涉及数学公式，但如果有的话需要正确使用。比如提到MapReduce时可能需要用公式说明分治思想，但可能这里不需要。 现在整理结构： 1. 传统数据库的局限性：处理大数据时的扩展性、性能问题。 2. 大数据数据库的特点：分布式、高可用、灵活的数据模型。 3. 主要技术分类：NoSQL、NewSQL、分布式数据仓库、数据湖。 4. 具体应用案例：如电商用户画像、日志分析、实时推荐等。 5. 工具和技术示例：HBase、Cassandra、Spark SQL等。 6. 结合Excel类比，帮助理解。 7. 学习建议和资源推荐。 需要确保每个部分都有实际例子，并与之前的回答中的Excel经验关联，比如传统数据库类似Excel处理小数据，大数据数据库则用分布式方法处理更大规模的数据。 检查是否有遗漏点，比如数据分片、副本机制、CAP定理等是否必要提及，但可能用户更关注应用层面，所以简要提及即可。 最后，总结回答结构，确保符合用户要求的清晰步骤和真实可靠的信息。</think>### **分步解析：数据库在大数据中的核心应用** --- #### **1. 传统数据库的局限性与大数据需求** **核心矛盾**：传统关系型数据库（如MySQL）的**单体架构**难以应对大数据的**4V特征** - **Volume（数据量）**：单机存储限制（如Excel最大104万行 vs 大数据TB/PB级） - **Velocity（速度）**：高并发写入瓶颈（如双十一每秒50万订单 vs Excel每秒数百次计算） - **Variety（多样性）**：非结构化数据处理困难（如图片、日志 vs Excel仅支持表格） - **Veracity（准确性）**：数据清洗成本高（如传感器噪声数据 vs Excel手动筛选） **示例**： > “当用Excel分析10GB用户日志时，频繁崩溃；改用Hadoop后，将日志拆分成128MB块分布存储，计算效率提升百倍” --- #### **2. 大数据数据库技术分类与典型应用** **技术演进逻辑**： ``` 传统数据库 → 分布式改造 → 专用大数据数据库 ``` **分类与应用场景**： | **类型** | **代表技术** | **解决痛点** | **类比Excel操作** | |----------------|--------------------|-------------------------------|--------------------------------| | **列式存储** | HBase, Cassandra | 快速聚合统计（如用户行为计数） | 类似Excel冻结首列+按列筛选 | | **文档数据库** | MongoDB | 存储JSON格式日志 | 类似Excel单元格内嵌套JSON字符串| | **图数据库** | Neo4j | 社交关系分析 | 类似Excel用VBA绘制关系网络图 | | **时序数据库** | InfluxDB | 物联网传感器数据 | 类似Excel按时间轴绘制折线图 | **技术细节**： - **HBase**：基于HDFS的分布式列存储，通过`RegionServer`实现自动分片，类似将Excel大表拆分成多个Sheet分发给不同服务器处理 - **Cassandra**：采用一致性哈希环，支持跨数据中心复制，类似在Excel中设置多工作簿实时同步 --- #### **3. 典型应用场景与实现架构** **案例1：实时推荐系统** - **需求**：根据用户实时行为（点击/搜索）更新推荐列表 - **传统方案局限**：MySQL事务锁导致延迟高，无法处理每秒10万次事件 - **大数据方案**： ``` Kafka（实时数据流） → Spark Streaming（特征计算） → Redis（存储用户画像） → HBase（长期行为日志） ``` - **Excel映射**： > “类似用Excel Power Query定时刷新数据，但大数据方案实现了毫秒级延迟和自动扩缩容” **案例2：数据湖架构** - **架构组成**： $$ \text{原始数据} \xrightarrow{\text{S3/HDFS}} \text{数据湖} \xrightarrow{\text{Delta Lake}} \text{ACID事务} \xrightarrow{\text{Spark SQL}} \text{分析应用} $$ - **优势**： - 存储成本降低80%（相比传统数仓） - 支持混合查询：SQL查结构化数据 + Python分析图片/文本 --- #### **4. 关键技术原理图解** **分布式写入流程（以HBase为例）**： ``` 1. Client向ZooKeeper请求RegionServer地址 2. 数据按RowKey哈希分配到对应Region 3. 写入先写WAL日志（防丢失），再存MemStore内存 4. MemStore满后刷写到HDFS成HFile ``` **类比Excel**： > “类似在Excel中： > - 步骤1：通过目录页找到对应Sheet > - 步骤3：先用批注记录操作日志，再修改单元格 > - 步骤4：定期保存为独立文件备份” --- #### **5. 学习路径与实操建议** **技能树构建**： ``` 基础层：SQL → 中级：分布式原理（CAP定理） → 高级：特定数据库调优 ``` **实验路线**： 1. **单机模拟**：用Docker部署HBase单节点，导入Excel数据（CSV格式） ```bash docker run -d --name hbase harisekhon/hbase hbase shell create 'sales', 'cf' put 'sales', 'row1', 'cf:amount', '1000' ``` 2. **云平台实战**：AWS免费套餐创建S3数据湖 + Athena查询 ```sql CREATE TABLE sales AS SELECT * FROM CSV.`s3://mybucket/sales.csv`; ``` 3. **性能对比**：用相同数据集测试Excel Power Pivot vs Spark SQL执行时间 --- #### **6. 常见误区与解决方案** **误区**：“NoSQL可以完全替代关系型数据库” **正解**： - **混合架构**：用MySQL处理交易（ACID必须），用Elasticsearch做商品搜索 - **同步工具**：Debezium监听MySQL binlog，实时同步到ES **误区**：“所有大数据都需要Hadoop” **决策树**： $$ \begin{cases} \text{数据量 < 1TB} & \rightarrow \text{单机Spark/数据库分库分表} \\ \text{1TB~100TB} & \rightarrow \text{Hadoop/MPP数仓（如Redshift）} \\ \text{>100TB + 实时} & \rightarrow \text{Flink + 对象存储} \end{cases} $$ --- ### **总结回答示例** “数据库在大数据中的应用主要体现在**分布式存储**与**计算范式革新**： 1. **存储层**： - 从MySQL的单机B+树，扩展到HBase的LSM树分层存储，解决海量数据持久化问题 - 类似将Excel文件拆分成多个CSV分片存储，但通过ZooKeeper自动管理分片位置 2. **计算层**： - 传统SQL优化器转为Spark Catalyst，支持对PB级数据生成最优执行计划 - 类似Excel公式从单单元格计算升级为跨工作表并行计算 3. **应用层**： - 实时数仓：Kafka+ClickHouse实现秒级延迟查询，替代T+1的Excel日报 - 图计算：Neo4j分析企业担保圈风险，替代Excel手工绘制关联关系图 目前我正通过AWS Academy学习Glue ETL服务，尝试将Excel中的VLOOKUP迁移到Spark的`broadcast join`，初步实现10GB数据关联查询从小时级缩短到3分钟。” --- 通过将大数据数据库技术与常见工具（如Excel）对比，既能**降低理解门槛**，又能体现**技术演进的内在逻辑**，这种回答方式特别适合需要快速建立认知的场景。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值