
mongodb
文章平均质量分 71
qbw2010
这个作者很懒,什么都没留下…
展开
-
mongodb的write concern
转载自:http://kyfxbl.iteye.com/blog/1952941mongodb有一个write concern的设置,作用是保障write operation的可靠性。一般是在client driver里设置的,和db.getLastError()方法关系很大一般来说,所有的mongo driver,在执行一个写操作(insert、update、dele转载 2015-03-27 15:39:29 · 481 阅读 · 0 评论 -
聚集索引,非聚集索引
由于需要给同事培训数据库的索引知识,就收集整理了这个系列的博客。发表在这里,也是对索引知识的一个总结回顾吧。通过总结,我发现自己以前很多很模糊的概念都清晰了很多。不论是 聚集索引,还是非聚集索引,都是用 B+树来实现的。我们在了解这两种索引之前,需要先了解B+树。如果你对B树不了解的话,建议参看以下几篇文章:BTree,B-Tree,B+Tree,B*Tree都是什么http:转载 2015-04-19 16:02:01 · 486 阅读 · 0 评论 -
B+树,聚集索引,非聚集索引(辅助索引) 之一
B+树,聚集索引,非聚集索引(辅助索引) 之一B+树,由二叉树和双向链表引申出来的一种数据结构。 通常数据库的索引是通过B+树来实现的。聚集索引和非聚集索引都是B+树的结构。聚集索引不但描述了数据是如何组织的,聚集索引其实就是数据本身。数据存放在“叶页”上,叶页也就是数据页,和下文的索引页需要区分开来。下面是从网上找来的我认为比较通俗易懂的关于B+树的讲解:B树转载 2015-04-19 16:14:42 · 646 阅读 · 0 评论 -
mongostat详解
mongostat详解mongostat是mongdb自带的状态检测工具,在命令行下使用。它会间隔固定时间获取mongodb的当前运行状态,并输出。如果你发现数据库突然变慢或者有其他问题的话,你第一手的操作就考虑采用mongostat来查看mongo的状态。它的输出有以下几列:inserts/s 每秒插入次数query/s 每秒查询次数update/s 每秒更新次数dele转载 2015-05-11 15:36:08 · 529 阅读 · 0 评论 -
MongDB3.0.1 Web监控的问题
MongoDB 3.0.1的Web监控只能有在http://localhost : 28017能用,remote connection用不了。有一种方法能使用remote connection:在mongodb 2.6.6中创建一个用户,然后把2.6.6的数据库文件用作mongoDB3.0.1的数据库文件。就是启动时--dbpath=(2.6.6的data)这样可以用来web登陆:但只限M原创 2015-05-28 15:13:02 · 391 阅读 · 0 评论 -
mongodb-manual-3.0.1 Indexes
8.1mongodb的索引定义在collections级别,并且支持索引到一个document,或这个document的子部分。索引可以用来进行两个方向的排序。 Cover Results:覆盖索引的好处有两方向:1.可以直接通过索引返回数据,不用再看别的地方。2.不用把document拿入内存Compound Index(复合索引)复合索引的顺序非常重要,原创 2015-05-28 15:29:20 · 385 阅读 · 0 评论 -
mongodb-manual-3.0.0 indexes2
Compound Indexesmongodb支持复合索引。{"_id":ObjectId(...),"item":"Banana","category":[ "food", "produce", "grocery"],"location":"4th Street Store","stock":4,"type":"cases",原创 2015-05-29 13:45:48 · 821 阅读 · 0 评论 -
MongoDB的存储结构及对空间使用率的影响
MongoDB的存储结构及对空间使用率的影响七月 23, 2014TJ的博客TJ使用MongoDB一段时间的同学肯定会发现,MongoDB往往会占用比实际数据大小多不少空间的问题。如果利用db.stats()命令去查看,会发现MongoDB会报告几种不同的空间大小信息,如dataSize, storageSize以及fileSize。这些大小到底指的是什么意思呢?让我们来通过了解M转载 2015-06-18 17:59:18 · 1125 阅读 · 0 评论 -
使用mongodb时常发生的几个错误
今天在配置mongodb时发生了以下几个错误, 已经被我解决了,提供给大家.2015-05-12T09:30:26.313+0800 I STORAGE [initandlisten] exception in initAndListen: 28574 Cannot start server. Detected data files in /root/Desktop/mongodb/data原创 2015-05-19 15:49:28 · 7595 阅读 · 0 评论 -
对mongodb的shard机制的一点测试
1.还没插入数据,只创建了空数据库和空集合,就分配了4K的storageSize和4K的索引.证明一个extent的大小是4K 2.运行db.runCommand({'enableshardin':'qiu'})之后没有什么变化.3.运行db.runCommand({'shardcollection':'qiu.qiu','key':{'_id':1}原创 2015-06-29 17:00:03 · 868 阅读 · 0 评论 -
WiredTiger的一些特性
WiredTiger数据存储引擎是一个高性能,可扩展,支持事务,拥有产品级别,开源的NOSQL数据引擎。它的目的就是最大化你买的每一个电脑的价值。1.WiredTiger提供低延迟和高吞吐量。(在cache中的读操作不需要latch,而写需要一个单独的latch)(不懂)2.WiredTiger处理比RAM大的数据集时,没有性能和资源方面的恶化。3.WiredTiger在处理大量访问和原创 2015-07-01 16:19:42 · 1982 阅读 · 0 评论 -
BDB的Btree结构以及影响Btree性能的各种配置和方法
原文出自:http://blog.itpub.net/263089/viewspace-684038/ 在学习BDB时看到了这篇文章。这篇文章是一篇非常好的文章,按照他的原意应该是图文并貌的说明BDB中的Btree结构,可是图不能显示。这里严重鄙视一下图片防盗链这种做法。技术就在于交流,无交流切磋何来技术提高?我在这里凭我自己的理解重新画出这些图,如果有不对的地方还请大家不惜赐教。转载 2015-07-01 10:02:16 · 748 阅读 · 0 评论 -
Optimizing Map/Reduce with MongoDB
Optimizing Map/Reduce with MongoDBI’ve come across several users who experience poor performance when using Map/Reduce with MongoDB version 1.8 and older, and it turns out that in many cases it is转载 2015-06-10 15:56:07 · 429 阅读 · 0 评论 -
mongodb-manual-3.0.1 6.1-6.2
6.16.1.1认证在访问系统之前,所有客户端都需要被认证。这样才能确保在没有被明确允许的情况下,客户端不能访问mongodb中的数据。mongodb主要支持两种认证机制:1.基于用户名密码的认证机制。2.X.509(SSL)认证。企业版额外支持两种认证:1.LDAP 2.KERBEROS6.1.2基于角色的访问控制访问控制例如 授权,决定了一个用户所能访问的资源和所能执行的操原创 2015-05-25 14:43:00 · 500 阅读 · 0 评论 -
linux shell软链接的问题
这个问题发生在shell脚本中的第一行为:#! /bin/sh 结果如下本来系统中已没有mongod进程,但运行关闭脚本仍然找到了2个有关的进程。但当把运行文件改名为haha(即mv /etc/init.d/mongodb_27017 /etc/init.d/haha);或把shell的第一行改为:#! /usr/bin/env bash 都得到了下面的结果原创 2015-09-17 14:24:07 · 2322 阅读 · 0 评论 -
深入理解DB2索引(Index)
索引(Index)是数据库管理系统中一个非常重要的数据结构,索引的合理使用能够极大提高数据库系统的性能。那么,什么是索引?索引有时如何提高数据库系统性能的呢?阅读本文时建议参考:《深入理解数据库磁盘存储(Disk Storage)》索引概念以一本书为例,通常一本书开头会有目录,而后才是正文,通过目录中每行左侧的标题和右侧的页码,我们可以快速定位到需要阅读的页面,而无需一转载 2015-04-19 16:15:58 · 598 阅读 · 0 评论 -
MongoDB分片实战(一):集群搭建
环境准备Linux环境主机OS备注192.168.32.13CentOS6.3 64位普通PC192.168.71.43CentOS6.2 64位服务器,NUMA CPU架构MongoDB版本:mongodb-linux-x86_64-2.4.1,下载地址:www.mongodb转载 2015-04-22 14:52:48 · 460 阅读 · 0 评论 -
搭建高可用mongodb集群(一)——配置mongodb
在大数据的时代,传统的关系型数据库要能更高的服务必须要解决高并发读写、海量数据高效存储、高可扩展性和高可用性这些难题。不过就是因为这些问题Nosql诞生了。NOSQL有这些优势:大数据量,可以通过廉价服务器存储大量的数据,轻松摆脱传统mysql单表存储量级限制。高扩展性,Nosql去掉了关系数据库的关系型特性,很容易横向扩展,摆脱了以往老是纵向扩展的诟病。高性能,N转载 2015-04-01 10:50:58 · 376 阅读 · 0 评论 -
MongoDB基本命令用
成功启动MongoDB后,再打开一个命令行窗口输入mongo,就可以进行数据库的一些操作。输入help可以看到基本操作命令:show dbs:显示数据库列表 show collections:显示当前数据库中的集合(类似关系数据库中的表) show users:显示用户use :切换当前数据库,这和MS-SQL里面的意思一样 db.help():显示数据库操作命转载 2015-03-27 13:58:11 · 374 阅读 · 0 评论 -
mongodb的高级操作(聚合框架)
group by 查询 不要用java驱动带的group by ,要用2.2版本后的aggregate聚合框架来搞,经过试验速度快一倍参考官网:http://docs.mongodb.org/manual/reference/sql-aggregation-comparison/实例:http://www.yeetrack.com/?p=649观看例子前,请转载 2015-03-27 16:06:17 · 470 阅读 · 0 评论 -
MongoDB之数据建模
MongoDB与关系型数据库的建模还是有许多不同,因为MongoDB支持内嵌对象和数组类型。MongoDB建模有两种方式,一种是内嵌(Embed),另一种是连接(Link)。那么何时Embed何时Link呢?那得看两个实体之间的关系是什么类型。一对一的关系:Embed,比如用户信息集合有Address字段,Address字段有省、市、县三个字段。建模如下:转载 2015-03-30 10:25:48 · 433 阅读 · 0 评论 -
MongoDB数据关系建模
MongoDB中的数据是非常灵活的,集合中也不强制文档要采用统一的结构。但是认真考虑数据模型依然是非常重要的,因为这会影响到应用程序性能和数据库的能力。本文讲述了MongoDB中常见的一对一、一对多关系模型如如何建模。CentOS编译安装MongoDB http://www.linuxidc.com/Linux/2012-02/53834.htmCentOS 编译安装 MongoD转载 2015-03-30 10:32:03 · 2712 阅读 · 0 评论 -
关于Mongodb的全面总结,学习mongodb的人,可以从这里开始!
原文地址:http://blog.youkuaiyun.com/jakenson/article/details/7060431 MongoDB的内部构造《MongoDB The Definitive Guide》MongoDB的官方文档基本是how to do的介绍,而关于how it worked却少之又少,本人也刚买了《MongoDB TheDefinitive Guide》的影转载 2015-03-30 11:29:32 · 5756 阅读 · 1 评论 -
mongodb中journal工作原理
转载自:http://f.dataguru.cn/thread-139560-1-1.html先介绍一下Journal: journal文件在MongoDB中的作用相当于redo日志文件在oracle中的作用,它可以在即使服务器意外宕机的情况下,将数据库操作进行重演。 在64位的机器上,2.0以上版本默认是开启了journal的,但是在32位机器上,或者2.转载 2015-03-30 12:00:22 · 614 阅读 · 0 评论 -
MongoDB Capped Collections
Capped CollectionsCapped collections 就是固定大小的collection。它有很高的性能以及队列过期的特性(过期按照插入的顺序). 有点和 "RRD" 概念类似。Capped collections是高性能自动的维护对象的插入顺序。它非常适合类似记录日志的功能。 创建一个 Capped Collecti转载 2015-03-30 10:53:22 · 396 阅读 · 0 评论 -
MongoDB 常用故障排查工具
1.profileprofiling levels: 0,关闭profile;1,只抓取slow查询;2,抓取所有数据。启动profile并且设置Profile级别: 可以通过mongo shell启动,也可以通过驱动中的profile命令启动,启动后记录会被保存在system.profile collection下,可以使用db.setProf转载 2015-03-30 11:31:52 · 462 阅读 · 0 评论 -
MongoDB 2.2 的 Time To Live (TTL) 集合
MongoDB 2.2 引入一个新特性 —— TTL 集合,TTL 集合支持失效时间设置,当超过指定时间后,集合自动清除超时的文档,这用来保存一些诸如session会话信息的时候非常有用,或者存储缓存数据使用。如果你想使用 TTL 集合,你要用到 expireAfterSeconds 选项: ?1db.ttl.ensureIndex(转载 2015-03-30 11:08:31 · 527 阅读 · 0 评论 -
MongoDB数据文件内部结构
有人在Quora上提问:MongoDB数据文件内部的组织结构是什么样的。随后10gen的工程师Jared Rosoff出来做了简短的回答。每一个数据库都有自己独立的文件。如果你开启了directoryperdb选项,那你每个库的文件会单独放在一个文件夹里。数据库文件在内部会被切分成单个的块,每个块只保存一个名字空间的数据。在MongoDB中,名字空间用于区分不同的存储类别。比如转载 2015-03-31 14:46:39 · 620 阅读 · 0 评论 -
搭建高可用mongodb集群(二)—— 副本集
在上一篇文章《搭建高可用MongoDB集群(一)——配置MongoDB》 提到了几个问题还没有解决。主节点挂了能否自动切换连接?目前需要手工切换。主节点的读写压力过大如何解决?从节点每个上面的数据都是对数据库全量拷贝,从节点压力会不会过大?数据压力大到机器支撑不了的时候能否做到自动扩展?这篇文章看完这些问题就可以搞定了。NoSQL的产生就是为了解决大数据量、高扩展性、高性能、灵活数转载 2015-04-01 10:52:31 · 710 阅读 · 0 评论 -
搭建高可用mongodb集群(三)—— 深入副本集内部机制
在上一篇文章《搭建高可用mongodb集群(二)—— 副本集》 介绍了副本集的配置,这篇文章深入研究一下副本集的内部机制。还是带着副本集的问题来看吧!副本集故障转移,主节点是如何选举的?能否手动干涉下架某一台主节点。官方说副本集数量最好是奇数,为什么?mongodb副本集是如何同步的?如果同步不及时会出现什么情况?会不会出现不一致性?mongodb的故障转移会不会无故自动发生?什么条件会触转载 2015-04-01 10:53:49 · 371 阅读 · 0 评论 -
搭建高可用mongodb集群(四)—— 分片
按照上一节中《搭建高可用mongodb集群(三)—— 深入副本集》搭建后还有两个问题没有解决:从节点每个上面的数据都是对数据库全量拷贝,从节点压力会不会过大?数据压力大到机器支撑不了的时候能否做到自动扩展?在系统早期,数据量还小的时候不会引起太大的问题,但是随着数据量持续增多,后续迟早会出现一台机器硬件瓶颈问题的。而mongodb主打的就是海量数据架构,他不能解决海量数据怎么行!不转载 2015-04-01 10:54:02 · 502 阅读 · 0 评论 -
深入理解数据库磁盘存储(Disk Storage)
转载自:http://blog.youkuaiyun.com/idber/article/details/8087473数据库管理系统将数据存储在磁盘、磁带以及其他的裸设备上,虽然这些设备的访问速度相比内存慢很多,但其非易失性和大容量的特点使他们成为数据存储的不二之选。本文主要讨论大型数据库产品的磁盘存储内部结构,这对于深入理解数据库各种数据结构具有至关重要的作用。数据库磁转载 2015-04-01 08:30:07 · 1224 阅读 · 0 评论 -
MongoDB WriteConcern
首先列一下WriteConcern的几种抛出异常的级别参数:WriteConcern.NONE:没有异常抛出WriteConcern.NORMAL:仅抛出网络错误异常,没有服务器错误异常WriteConcern.SAFE:抛出网络错误异常、服务器错误异常;并等待服务器完成写操作。WriteConcern.MAJORITY: 抛出网络错误异常、服务器错误异常;并等待一个主服务器完成写操作。W转载 2015-10-21 18:20:42 · 837 阅读 · 0 评论