【MongoDB】如何将MongoDB改造成内存数据库

MongoDB内存数据库改造实战
最新推荐文章于 2025-07-28 09:18:19 发布
最新推荐文章于 2025-07-28 09:18:19 发布
阅读量4.7k 收藏 3
点赞数
CC 4.0 BY-SA版权
分类专栏： Mongodb 文章标签： 数据库 mongodb
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/kturing/article/details/74966624
本文介绍了如何将MongoDB改造成内存数据库以满足特定测试需求。主要探讨了三种方法：利用tmpfs和ramfs作为内存文件系统，以及修改源码启用in_memory参数。通过这些方式，可以在MongoDB的WiredTiger存储引擎中实现数据驻留内存，提高性能。需要注意的是，启用内存模式可能与日志功能冲突，需要正确设置日志选项。

日前有测试需求将MongoDB改成内存数据库。我们知道MongoDB有一个In-Memory存储引擎，但是社区版不能用。所以我们自己想办法将MongoDB改造成内存数据库，经过探索，有三种方式。
研究版本：mongo-3.4

方式一：使用tmpfs作为文件系统

方式二：使用ramfs作为文件系统

这两种方式的思路都差不多，使用一个内存模拟文件系统，由于替换了磁盘文件系统，数据就保留在内存中。

方式三：修改源码设置in_memory参数

其实wiredtiger本身就支持将数据保留在内存中不刷盘，MongoDB的内存引擎估计也是利用wt的这一特性。wiredtiger.in文件中，wiredtiger_open()函数会传入配置信息config，函数前面的注释详细解释了有哪些配置项，其中就列出了in_memory配置，如下图说明。
这里写图片描述

如果修改源码传入in_memory=true编译还是会报错，提示incompatible argument in-memor。
这里写图片描述</

最低0.47元/天 解锁文章

200万优质内容无限畅学
Mongodb存储特性与内部原理
u012565458的博客
01-09 1254
一、存储引擎（Storage） mongodb 3.0默认存储引擎为MMAPV1，还有一个新引擎wiredTiger可选，或许可以提高一定的性能。 mongodb中有多个databases，每个database可以创建多个collections，collection是底层数据分区（partition）的单位，每个collection都有多个底层的数据文件组成。（参见下文data files存储原理） wiredTiger引擎：3.0新增引擎，官方宣称在read、insert
【MongoDB系列 04】突破单机瓶颈！MongoDB分片集群让你的数据库性能提升10倍
熵数实验室
06-10 768
当单机MongoDB无法承载海量数据和高并发时，分片集群就是你的救星！本文从一个真实的业务痛点出发，用通俗易懂的方式深入讲解MongoDB分片集群的架构原理、分片键设计策略、集群部署实战和性能优化技巧。我们将学习如何突破单机性能瓶颈，实现TB级数据的水平扩展，掌握自动数据平衡机制，构建真正高可用的分布式数据库系统。无论你是要应对数据爆炸增长，还是追求极致的读写性能，这篇文章都将为你打造坚不可摧的数据底座！
将MongoDB作为Redis式的内存数据库的使用方法
09-10
主要介绍了将MongoDB作为Redis式的内存数据库的使用方法,原理其实只是将内存虚拟作为磁盘,需要的朋友可以参考下
MongoDB与内存（转）
weixin_30435261的博客
09-11 182
原文地址：http://huoding.com/2011/08/19/107 但凡初次接触MongoDB的人，无不惊讶于它对内存的贪得无厌，至于个中缘由，我先讲讲Linux是如何管理内存的，再说说MongoDB是如何使用内存的，答案自然就清楚了。 据说带着问题学习更有效，那就先看一个MongoDB服务器的top命令结果： shell> top -p $(pidof mongo...
MongoDB占用内存情况分析
最新发布
LCY133的博客
07-28 539
MongoDB 的高内存消耗通常是正常现象，因为它会充分利用内存来提升性能。主要原因包括：1）WiredTiger 存储引擎默认使用50%-60%内存作为内部缓存；2）操作系统文件系统缓存辅助存储数据；3）大查询、过多索引、高并发连接等操作会增加内存压力。关键要监控缓存淘汰率和系统缺页错误，确保工作集能放入内存。优化建议包括增加内存、优化查询和索引、控制连接数、必要时使用分片集群。高内存占用本身不是问题，需关注的是内存不足导致的性能下降。
基于tmpfs使用mongoDB
SAN_YUN的专栏
08-28 329
基本思想 将MongoDB用作内存数据库（in-memory database），也即，根本就不让MongoDB把数据保存到磁盘中的这种用法，引起了越来越多的人的兴趣。这种用法对于以下应用场合来讲，超实用： 置于慢速RDBMS系统之前的写操作密集型高速缓存 嵌入式系统 无需持久化数据的PCI兼容系统 需要轻量级数据库而且库中数据可以很容易清除掉的单元测试（unit tes...
mongodb
climbs的专栏
02-21 808
工作中使用mongodb已经好久了，讽刺的是到了最后快离职的时候才有时间好好研究下源码。 印象：mongodb是一个内存数据库，数据都是放到内存里面的，所以速度上不比redis慢。 想法： mongodb对数据的操作大部分都在内存中。但mongodb并不是单纯的内存数据库。甚至个人认为不属于内存数据库。 相反，redis就是一个不折不扣的内存数据库了，mysql一个不折不扣
MongoDB数据库
Peng_zhj的博客
04-01 5871
MongoDB 1）MongoDB介绍 对于社交类软件的功能，我们需要对它的交友/圈子功能特点做分析： 每天发布圈子的动态为海量数据 读多写少 数据价值较低，对事物性要求不高 …… 针对以上特点，我们来分析一下： mysql：关系型数据库，性能较差 redis：内存成本高 对于数据量大而言，显然不能够使用关系型数据库和内存数据库进行存储，我们需要通过MongoDB进行存储 探花交友项目： mysql数据库：存储用户信息等重要数据 redis数据：提高热点数据的查询速度 mongodb：
MongoDB 从菜鸟到精通 万字以上教程
持续学习，持续更新
08-19 1586
MongoDB：是一个数据库 ,高性能、无模式、文档性，目前nosql中最热门的数据库，开源产品，基于c++开发。是nosql数据库中功能最丰富，最像关系数据库的。特性l 面向集合文档的存储：适合存储Bson（json的扩展）形式的数据；l 格式自由，数据格式不固定，生产环境下修改结构都可以不影响程序运行；l 强大的查询语句，面向对象的查询语言，基本覆盖sql语言所有能力；l 完整的索引支持，支持查询计划；l 支持复制和自动故障转移；l 支持二进制数据及大型对象（文件）的高效存储；
mongodb的内存总结
weixin_34355881的博客
02-23 278
纯手打，只是总结了通过多种方式查看mongodb的内存使用情况，并没能提出有效的减少mongodb的内存的方法。都说mongodb吃内存比较厉害，确实很厉害，我的数据级别到达了 4千万，数据量大概是140G，几天下来的话，130G的内存盘，到了60%，没有找到很好的办法前，每次都是重启mongodb，新手，我也不太清楚这个数据量是处于一个怎样的位置，有怎样的优良的解决办法，知...
MongoDB 内存数据库
crlyn的博客
09-25 760
skynet 集成了mongo的driver,monogo_collection:findOne,mongo_collection:findAndmodify,mongo_cursor:next,mongo_client:runCommand,mongo_db:runCommand等接口会返回bson库的解析结果,对于返回需要获得某字段的类型时,使用bson.type会更严谨.bson.type会
Mongodb内存数据库
weixin_34342207的博客
10-24 435
Mongodb的商业版本已经支持内存数据库,但是没有开源,从其官网说明来看,其实也是通过WiredTiger存储引擎实现的.我对mongodb代码做了一些修改,基于官方(r3.2.16)分支,使其成为内存数据库,配置文件上和官网的类似.关于mongodb支持内存数据库的说明见: https://docs.mongodb.com/manual/core/i...
把MongoDB当成纯内存数据库使用
JAVA技术
09-23 199
这种用法对于以下应用场合来讲，超实用： 置于慢速RDBMS系统之前的写操作密集型高速缓存 嵌入式系统 无需持久化数据的PCI兼容系统 需要轻量级数据库而且库中数据可以很容易清除掉的单元测试（unit testing） 如果这一切可以实现就真是太优雅了：我们就能够巧妙地在不涉及磁盘操作的情况下利用MongoDB的查询/检索功能。可能你也知道，在99％的情况下，磁盘IO（特别是随机IO）是...
MONGODB 性能与调优 -- 内存调优 1
sql server的专栏
03-23 3031
最近发生了一些事情，由于之前开发和运维对于MONGODB的了解停留在用而已，已经某些外部原因，导致MONGODB 在某些不可抗力的情况下，出现了问题，导致了我不能说的经济损失。随后公司的非IT 的领导，给出了一句话，没有想到MONGODB 变得如此重要。呵呵，当然MONGODB当然会越来越重要，这不是偶然，这是必然，读写的速度，JSON的天然混成，以及各种加速查询的方式，...
MongoDB入门：从零到精
lz007_的博客
06-26 641
MapReduce 批量处理:MongoDB的 MapReduce 功能专为大规模数据处理和聚合操作设计，通过 Map 函数的 emit(key，value)调用和 Reduce 函数的逻辑处理，实现高效的数据汇总。在 MongoDB 中，更新文档的操作可以使用多种方法实现，"常用的方法包括updateOne()、updateMany()、replace0ne()和 find0neAndUpdate()。文档的数据结构和 JSON 基本一样。在 MongoDB中，一个集合中的文档不需要有一个固定的模式。
MongoDB如何存储数据
热门推荐
ZH01234565的博客
09-28 1万+
想要深入了解MongoDB如何存储数据之前，有一个概念必须清楚，那就是 Memeory-Mapped Files。 Memeory-Mapped Files 下图展示了数据库是如何跟底层系统打交道的。 (虚拟内存是计算机系统内存管理的一种技术。 它使得应用程序认为它拥有连续可用的内存（一个连续完整的地址空间）， 而实际上，它通常是被分隔成多个物理内存碎片， 还有部分暂时存储在外部磁盘存储器上，在需...
内存数据库mongodb_内存和磁盘性能如何影响您的MongoDB数据库
culh2177的博客
08-31 1545
内存数据库mongodbThis article was originally published on MongoDB. Thank you for supporting the partners who make SitePoint possible. 本文最初在MongoDB上发布。 感谢您支持使SitePoint成为可能的合作伙伴。 Understanding the relation...
可以不使用MongoDB吗
05-30
<think>好的，用户问是否可以不使用MongoDB来构建之前的文件服务后端。我需要考虑用户为什么提出这个问题，可能的原因包括他们更熟悉其他数据库，或者项目环境限制，或者想简化依赖。首先，我需要回顾之前的解决方案，确认MongoDB在其中的作用。之前的代码中用到了MongoDB存储用户和文件元数据，比如用户模型和文件模型。用户认证和文件管理的逻辑都依赖于MongoDB。 接下来，我需要确定替代方案。常见的关系型数据库如MySQL、PostgreSQL，或者轻量级的SQLite都是可能的选项。另外，用户可能想使用纯内存存储或者文件系统存储，但这可能不适合生产环境。选择SQLite作为替代，因为它无需服务器，适合小型应用，且依赖简单。需要修改数据模型，使用Sequelize作为ORM来支持不同的数据库，提高灵活性。然后，我需要调整原来的Mongoose模型到Sequelize模型。用户和文件模型需要重新定义，包括字段和关联关系。同时，认证中间件和文件上传逻辑需要适应新的数据库操作方式。还需要修改注册、登录、文件上传和文件列表的路由处理，使用Sequelize的方法来替代Mongoose的查询。例如，用户注册时创建用户记录，登录时验证密码哈希，上传文件时检查哈希是否存在等。另外，要注意初始化数据库，创建表格，处理关联关系。测试时可能需要同步数据库结构，确保所有模型正确建立。 最后，确保代码中的依赖项更换，比如移除Mongoose，添加Sequelize和SQLite驱动。同时，调整数据库连接配置，使用SQLite的文件存储。用户可能还关心性能、数据持久化、扩展性等问题，但当前问题主要是替换数据库的可能性。需要明确说明修改后的代码如何使用SQLite，以及进一步扩展的可能性，比如更换其他SQL数据库。检查是否有遗漏的部分，比如JWT的生成和验证是否依赖数据库中的用户ID，文件路径的存储是否正确，以及静态资源的路由是否仍然有效。总结步骤：替换数据库驱动，修改数据模型，调整路由处理逻辑，测试功能是否正常。最后，提出相关问题，引导用户考虑其他数据库选项或扩展功能。</think>以下是使用SQLite替代MongoDB的实现方案： ```javascript // 依赖安装：npm install express sqlite3 sequelize multer crypto jsonwebtoken bcryptjs cors morgan // app.js 主文件 const express = require('express'); const { Sequelize, DataTypes } = require('sequelize'); const multer = require('multer'); const crypto = require('crypto'); const path = require('path'); const fs = require('fs'); const jwt = require('jsonwebtoken'); const bcrypt = require('bcryptjs'); const cors = require('cors'); const morgan = require('morgan'); const app = express(); app.use(express.json()); app.use(cors()); app.use(morgan('dev')); // SQLite 数据库连接 const sequelize = new Sequelize({ dialect: 'sqlite', storage: './database.sqlite' }); // 用户模型 const User = sequelize.define('User', { username: { type: DataTypes.STRING, unique: true }, password: DataTypes.STRING }); // 文件模型 const File = sequelize.define('File', { originalName: DataTypes.STRING, hash: { type: DataTypes.STRING, unique: true }, path: DataTypes.STRING, size: DataTypes.INTEGER }); // 建立关联 User.hasMany(File); File.belongsTo(User); // 初始化数据库 sequelize.sync(); // 其他中间件和路由保持不变... // 只需修改数据库操作部分： // 用户注册路由修改 app.post('/register', async (req, res) => { try { const hashedPassword = await bcrypt.hash(req.body.password, 10); const user = await User.create({ username: req.body.username, password: hashedPassword }); res.status(201).send(); } catch (error) { res.status(500).send(error.message); } }); // 文件上传路由修改 app.post('/upload', authenticateJWT, upload.single('file'), async (req, res) => { try { const fileHash = await computeHash(req.file.path); // 检查文件是否已存在 const existingFile = await File.findOne({ where: { hash: fileHash } }); if (existingFile) { fs.unlinkSync(req.file.path); return res.json({ path: existingFile.path }); } const file = await File.create({ originalName: req.file.originalname, hash: fileHash, path: req.file.path, size: req.file.size, UserId: req.user.userId }); res.json({ path: req.file.path }); } catch (error) { res.status(500).json({ error: error.message }); } }); // 获取文件列表路由修改 app.get('/files', authenticateJWT, async (req, res) => { const files = await File.findAll({ where: { UserId: req.user.userId } }); res.json(files); }); ``` **改造说明：** 1. **数据库替换：** - 使用Sequelize ORM支持多数据库 - 采用SQLite作为嵌入式数据库 - 保留原有数据模型结构 2. **主要变化点：** - 使用Sequelize的define方法定义模型 - 使用create/findOne/findAll替代Mongoose的save/find - 关联关系使用hasMany/belongsTo定义 - 用户ID字段自动命名为UserId（Sequelize约定） 3. **优势：** - 无需单独安装数据库服务 - 数据存储在单个文件中 - 更容易迁移到其他SQL数据库（MySQL/PostgreSQL） 4. **注意事项：** - 需要手动处理数据库迁移 - 生产环境建议使用PostgreSQL等更健壮的数据库 - 关联查询需要include参数 **
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值