今天闲来无事,体验了下MongoDB,测试了一下性能。
一个mongod服务可以有建立多个数据库,每个数据库可以有多张表,这里的表名叫collection,每个collection可以存放多个文档(document),每个文档都以BSON(binary json)的形式存放于硬盘中。跟关系型数据库不一样的地方是,它是的以单文档为单位存储的,你可以任意给一个或一批文档新增或删除字段,而不会对其它文档造成影响,这就是所谓的schema-free,这也是文档型数据库最主要的优点。跟一般的key-value数据库不一样的是,它的value中存储了结构信息,所以你又可以像关系型数据库那样对某些域进行读写、统计等操作。可以说是兼备了key-value数据库的方便高效与关系型数据库的强大功能。
跟关系型数据库类似,mongodb可以对某个字段建立索引,可以建立组合索引、唯一索引,也可以删除索引。当然建立索引就意味着增加空间开销,我的建议是,如果你能把一个文档作为一个对象的来考虑,在线上应用中,你通常只要对对象ID建立一个索引即可,根据ID取出对象某些数据放在 memcache即可。如果是后台的分析需要,响应要求不高,查询非索引的字段即便直接扫表也费不了太多时间。如果还受不了,就再建一个索引得了。默认情况下每个表都会有一个唯一索引:_id,如果插入数据时没有指定_id,服务会自动生成一个_id,为了充分利用已有索引,减少空间开销,最好是自己指定一个unique的key为_id,通常用对象的ID比较合适,比如商品的ID。
mongodb的复制架构跟mysql也很类似,除了包括master-slave构型和master-master构型之外,还有一个Replica pairs构型,这种构型在平常可以像master-slave那样工作,一但master出现问题,应用会自动了连接slave。要做复制也很简单,只要在某一个服务启动时加上–master参数,而另一个服务加上–slave与–source参数,即可实现同步。
gridfs是mongodb一个很有趣的类似文件系统的东西,它可以用一大块文件空间来存放大量的小文件,这个对于存储web2.0网站中常见的大量小文件(如大量的用户头像)特别有效。使用起来也很方便,基本上跟一般的文件系统类似。
由于mongodb不支持事务操作,操作也不是原子的,所以事务要求严格的系统(如果银行系统)肯定不能用它。
mongodb占用空间过大的原因,在官方的FAQ中,提到有如下几个方面:
1、空间的预分配:为避免形成过多的硬盘碎片,mongodb每次空间不足时都会申请生成一大块的硬盘空间,而且申请的量从64M、128M、 256M那样的指数递增,直到2G为单个文件的最大体积。随着数据量的增加,你可以在其数据目录里看到这些整块生成容量不断递增的文件。
2、字段名所占用的空间:为了保持每个记录内的结构信息用于查询,mongodb需要把每个字段的key-value都以BSON的形式存储,如果 value域相对于key域并不大,比如存放数值型的数据,则数据的overhead是最大的。一种减少空间占用的方法是把字段名尽量取短一些,这样占用空间就小了,但这就要求在易读性与空间占用上作为权衡了。我曾建议作者把字段名作个index,每个字段名用一个字节表示,这样就不用担心字段名取多长了。但作者的担忧也不无道理,这种索引方式需要每次查询得到结果后把索引值跟原值作一个替换,再发送到客户端,这个替换也是挺耗费时间的。现在的实现算是拿空间来换取时间吧。
3、删除记录不释放空间:这很容易理解,为避免记录删除后的数据的大规模挪动,原记录空间不删除,只标记“已删除”即可,以后还可以重复利用。
4、可以定期运行db.repairDatabase()来整理记录,但这个过程会比较缓慢。
MongoDB适用的场合:
网站数据:Mongo非常适合实时的插入,更新与查询,并具备网站实时数据存储所需的复制及高度伸缩性。
缓存:由于性能很高,Mongo也适合作为信息基础设施的缓存层。在系统重启之后,由Mongo搭建的持久化缓存层可以避免下层的数据源过载。
大尺寸,低价值的数据:使用传统的关系型数据库存储一些数据时可能会比较昂贵,在此之前,很多时候程序员往往会选择传统的文件进行存储。
高伸缩性的场景:Mongo非常适合由数十或数百台服务器组成的数据库。Mongo的路线图中已经包含对MapReduce引擎的内置支持。
用于对象及JSON数据的存储:Mongo的BSON数据格式非常适合文档化格式的存储及查询。
看网上说,插入九百万条简单数据(3个字段):平均值大约在24000/s(最高2.8W,最低2.1W)。
自己测试对比:插入100W简单数据
MongoDB: 6m18.579s
Mysql : 3m18.187s
用MongoDB自带的工具测试1W条记录结果:
encode small: 2.1333899498
encode medium: 12.0563359261
encode large: 62.4954781532
decode small: 0.864869832993
decode medium: 4.7117099762
decode large: 25.076821804
insert medium: 16.6013510227
find one medium: 49.5086688995
似乎也不是很强悍,可能机器配置有关,内存有点小,本机:
model name : Intel(R) Pentium(R) 4 CPU 3.00GHz
cpu MHz : 2992.829
cache size : 2048 KB
MemTotal : 1033908 kB
原文见:http://www.feedzshare.com/s/s/1603304
http://www.sh2999.com/sh/posts/list/236.page
相关推荐
手把手教你编写I2C读写EEPROM代码(驱动层实现)
从底层寄存器配置到时序控制,详解如何编写可移植的I2C读写EEPROM代码,覆盖起始信号、地址帧、数据收发及ACK应答等关键环节,确保在STM32、ESP32等主流平台稳定运行,真正落地i2c读写eeprom代码需求。
性能测试:SequoiaDB vs. MongoDB vs. Cassandra vs. HBase
摘要:NoSQL通过弱化一部分关系型数据库特性(如一致性和关系模型)来提升其可扩展性及高可用性,弥补了关系型数据库在很多互联网类应用中的不足。因此,不同的NoSQL有着不同的杀手级应用,这里我们通过基准测试摸索。 【编者按】在《先锋》系列的 事务、高性能,王涛谈打造超越MongoDB的NoSQL一文中,我们与王涛浅谈了高性能,拥有事务的SequoiaDB打造经验。应读者需求,从数据上解读
为什么BGA焊点总在四个角先坏?一次热-振耦合仿真给你讲明白
本文通过Ansys Workbench进行热-振耦合仿真,深入分析了BGA焊点在四个角点先失效的机理。研究发现,角点焊点由于CTE失配、振动载荷放大及几何应力集中等因素,承受的等效塑性应变和动态应力显著高于中心区域,导致其疲劳寿命大幅降低。仿真数据揭示了角点焊点的应力分布和蠕变特性,为电子封装可靠性设计提供了重要依据。
mongoDB初体验
一直以来都比较喜欢NoSQL。首先是名字好听。 然后前不久下了mongoDB。还借来了mongoDB权威指南一书。 大概浏览了一下。也在mongoDB的官网上mongo shell上体验了一下。 非常不错,而且mongoDB用的javascript,json也都是我喜欢的。 mongoDB官网:mongodb.org 从这个地点开始,就应该能够找到体验mongoDB的所有东西了。 下载...
【S32K】S32K144入门笔记(4) Lin (Lin stack组件) 驱动超声波雷达实例
0. 引言 Lin这块是我一直没弄懂的部分。很多东西一知半解,当时感觉是硬凑了答案出来。 果然过标的时候出了问题,几个小伙伴帮忙一起刷夜也没搞定,好在标还是顺利过了,不然罪过大了。 之前做lin这块一直用的是linStack组件,这部分包含了协议栈部分,需要对lin的协议比较清楚和理解才好配置。 尤其是,图形界面配置完成后会生成一个ldf文件,这个文件很重要,所有的代码都是基于这个文件生成的,但是这个文件我确认没找到什么介绍资料,所以很多配置都是一点一点凑出来的,再实际验证的。 抓住这次写文档的机会,把当时
智能优化电池:基于单片机的电池管理系统
设计简介: 本设计是基于单片机的电池管理系统,主要实现以下功能: 可通过LCD1602显示温度、电压电流值; 可通过按键调整温度、电压和电流的阈值; 用ADC0832将模拟量转换为数字量。 标签:51单片机、LCD1602、ADC0832 效果图: 总体资料: 原理图: 软件设计流程: 系统框图: 本设计以STC89C52单片机为核心控制器,加上其他的模块一起组成电动汽车的电池管理的整个系统,...
[NoSQL]MongoDB初体验
因为未来业务发展的一个需求里的,考虑要用到NoSql,所以做了一些预研。今天简单体验了下mongdb,感觉挺合适的,有点热血沸腾。简单记录下mongoDB的一些初体验。 mongoDB的特性有哪些?以下是官网的定义: MongoDB (from "humongo us") is a scalable, high-performance, open source NoSQL da...
数字电路实验避坑指南:如何正确搭建主从JK触发器测试电路(附Proteus仿真)
本文详细解析了主从JK触发器的工作原理及实验搭建指南,重点解决了常见的Catching Problem现象,并提供了Proteus仿真优化方案。通过元器件选型、电路连接步骤和常见错误排查,帮助读者正确搭建测试电路,确保数字电路实验的稳定性和可靠性。
MongoDB3.6之Replica Set初步体验
转载链接 MongoDB3.6之Replica Set初步体验
从零开始讲DDR(7)——modelsim独立仿真DDR4
本文主要内容为DDR4 MIG ip核仿真,modelsim独立仿真DDR4。在进行DDR仿真的时候,我们会面临一个以往常规仿真不存在的问题:DDR本身并不是一个我们通过RTL代码设计出来的部件,常规的模块或者IP仿真,都是基于RTL代码就能进行的,但是回顾一下我们DDR的开发流程,调用的IP核也只是MIG ip,其本质是一个DDRC+DDRPYH的组合,并不能模拟任何DDR本身的行为,因此,在进行仿真之前,我们首先要做的就是获取DDR的仿真模型。
GPU硬件架构与微架构深度解析28-稀疏计算:稀疏矩阵计算的硬件支持
本文介绍了GPU加速稀疏计算的关键技术。主要内容包括:1)稀疏数据的存储格式(COO、CSR、CSC)及其特点;2)现代GPU的稀疏计算硬件优化,如NVIDIA的稀疏张量核心和内存访问优化;3)稀疏计算在推荐系统、NLP和科学计算等领域的应用案例;4)性能优化技巧,包括存储格式选择、硬件特性利用和混合精度计算等。文章指出,专用稀疏计算技术可显著提升AI和大规模科学计算的效率,相比传统方法可获得5-10倍的性能提升。
asp.net 使用 MongoDB 初体验
asp.net 使用 MongoDB 初体验 我们在C#访问MongoDB所需的驱动就是项目MongoDB了。编译这个项目就能得到了,文件名:MongoDB.dll asp.net 中 使用 MongoDB 首先先启动MongoDB,我在之前的文章里已经介绍过在这里就不做介绍了。 建立一个实体类 用户表 [csharp]view plaincopy publicpart...
【fpdlink显示】DS90UB948关于941连接948 GPIO调试问题
1. 前言 使用一个941连接2 948显示: 941的GPIO0/1/2/3到前948的GPIO0/1/2/3和941的D_GPIO0/1/2/3到948的GPIO0/1/2/3。 设置gpio3输出,则941的D_GPIO3设置高,而948的gpio3设置不高; 但设置gpio3输入后,看到941的D_GPIO3跟随948的gpio3变化。 2. 原理图连接 3. 测试代码 static int du90ub941_enable_port(struct goodix_ts_d
mongodb初步使用体验
前言 Mongodb是一个非常有名的缓存数据库,和它名气相当的还有redis和hbase。笔者之前使用过redis,memcache和elasticsearch,借着工作机会,正好可以好好学习一下mongodb。 安装,部署 笔者在百度搜索下的mongodb官网上没有看到直接的下载链接,反而还要注册,比较麻烦。最后是在一篇博文里找到了直接的下载地址。直接选择一个较新的以ms...
visio安装包
Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表,创建专业级图表以简化复杂的信息。
Camera2Demo
在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作
17 Media数据迁移:从自管理MongoDB到MongoDB Atlas,用户体验与工作效率双提升
随着网络技术的提升,视频直播已经成为了互联网的一种常态。因为视频直播最接近人类沟通方式,易于使用、交互能力强、体验最好,所以拥有庞大的用户群。巨大的用户需求加剧了直播平台之间的竞争,为了增强竞争力,吸引更多的用户,各大直播平台想方设法提升自身服务质量,不仅要不断推出新的业务形式,还要大力借助IT技术的力量。 17 Media是成立于2015年的一家台湾直播平台。由于其创始人是著名的音乐明星黄立成,...
WINCC7.3破解文件
WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!
MongoDB 初体验
MongoDB 是一个基于分布式文件存储的数据库。由 C++ 语言编写。旨在为 WEB 应用提供可扩展的高性能数据存储解决方案。MongoDB 是一个介于关系数据库和非关系数据库之间的产品,是非关系数据库当中功能最丰富,最像关系数据库的。 MongoDB 将数据存储为一个文档,数据结构由键值...
jre9下载 jdk9
(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】
MongoDB Compass初体验
mongodb官方自带客户端compass
【MongoDB】我的初学体验
MongoDB数据库,相信大家在面试的时候都接受过面试官的灵魂拷问。回首这十年的工作生涯,在实际开发过程中,用到的都是mysql数据库。所以,我对MongoDB的了解也仅仅是停留在书面概念上的认识。最近正好有一个机会,接触到了MongoDB的项目,从零开始了我的学习之路,借此机会,把学习体验记录下来,帮助更多的小伙伴们快速入门。
MongoDB的初体验
介绍了MongoDB的简单使用,包括文档的维护与查询、索引等。同时也介绍了主从复制、副本集等概念。
17 Media数据迁移: 从自管理MongoDB到MongoDB Atlas,用户体验与工作效率双提升
随着网络技术的提升,视频直播已经成为了互联网的一种常态。因为视频直播最接近人类沟通方式,易于使用、交互能力强、体验最好,所以拥有庞大的用户群。巨大的用户需求加剧了直播平台之间的竞争,为了增强竞争力,吸引更多的用户,各大直播平台想方设法提升自身服务质量,不仅要不断推出新的业务形式,还要大力借...
mongodb初体验
mongodb初体验 如果要选出近两年最火的web技术的话,NOSQL必定为其中之一!鉴于业务量发展的压力,最近项目组也希望完全迁移至NOSQL,所以也关注下NOSQL的知识(之前也有关注,但只是看看介绍而已,没有深入了解),这期间注意到mongodb。不同于Cansandra的key-value形式,mongodb的数据是以文档为单位存储的,mongo中所谓的的文档就是类似于...
MongoDB在Android上的使用体验
【前言】一般来讲,Android使用的数据库都是自带的SQLite数据库。Web重量级的MySQL、Orcacle、NOSQL等都不适用于Android项目的开发。但是我发现了一个Web上最近几年比较火的一个数据库 ---- MongoDB。查看它的官网发现,它还可以用于Android开发,而且官方文档也给出了一些API说明。于是我决定写下这篇博客分享一下MongoDB在Andr...
node+express+mongodb初体验
从去年11月份到现在,一直想去学习nodejs,在这段时间体验了gulp、grunt、yeomen,fis,但是对于nodejs深入的去学习,去开发项目总是断断续续。 今天花了一天的时间,去了解整理整个学习思路,以下是我的学习分享,是入门级学习体验适合node+mongodb开发小白,node已玩过很久的大神这篇文章可能不适合。 开篇来个例子: 客户端表单页面: <...
MongoDB.app快速入门教程:3步搞定Mac上最简单的MongoDB使用体验
MongoDB.app 是一款专为 Mac 打造的 MongoDB 一键启动工具,它将 mongod 服务封装成原生 macOS 应用,无需手动配置路径、端口和数据目录。对于想在 Mac 上快速体验 MongoDB 的新手来说,只需下载、拖入应用程序文件夹、双击运行三步,即可获得一个开箱即用的本地 MongoDB 实例。下面这份 MongoDB 快速入门教程将带你轻松完成全部设置。 ## 什么是
《MongoDB Compass 黑暗模式体验:长时间操作的视觉优化》
MongoDB Compass的黑暗模式是一种用户界面主题,它将传统的亮色背景替换为深色调,例如深灰或黑色,同时调整文本和图标为高对比度的浅色。这种设计不仅美观,更能减少屏幕蓝光辐射,缓解眼睛压力。启用方式简单:在Compass的设置菜单中,选择“Appearance”选项,然后切换到“Dark”主题即可。整个过程无需重启工具,立即生效。MongoDB Compass的黑暗模式不仅是一种视觉升级,更是对用户健康的贴心考量。通过降低蓝光、提升对比度和减少干扰,它有效优化了长时间数据库操作的体验。
MongoDB在Windows下的初体验
目录 一、MongoDB的安装 1.1 MongoDB的下载安装 1.2 环境变量的配置 1.3 启动Mongo服务 1.4 初体验 二、MongoDB基本命令 2.1 基本命令1 2.2 基本命令2 2.2.1 增加数据 2.2.2 修改数据 2.2.3 删除 三、用JavaScript来写命令 四、MongoDB插入的批量操作 五、MongoDB Updata常...
509



被折叠的 条评论
为什么被折叠?



