MongoDB

NoSQL简介

NoSQL 指非关系型数据库，有时也称作Not Only SQL
遵循ACID规则：A (Atomicity) 原子性，C (Consistency) 一致性，I (Isolation) 独立性，D (Durability) 持久性

NoSQL的优点/缺点

优点:

• 高可扩展性
• 分布式计算
• 低成本
• 架构的灵活性，半结构化数据
• 没有复杂的关系

缺点:

• 没有标准化
• 有限的查询功能（到目前为止）
• 最终一致是不直观的程序

NoSQL 数据库分类

简介

MongoDB是一个基于分布式文件存储的数据库，将数据存储为一个稳定，数据库结构由键值对组成。MongoDB 文档类似于 JSON 对象

MongoDB 提供了简单的 HTTP 用户界面
MongoDB运行端口使用默认的27017，可以在端口号为28017访问web用户界面

MongoDB术语与SQL术语的对比

SQL术语/概念	MongoDB术语/概念	解释/说明
database	database	数据库
table	collection	数据库表/集合
row	document	数据记录行/文档
column	field	数据字段/域
index	index	索引
table joins		表连接,MongoDB不支持
primary key	primary key	主键,MongoDB自动将_id字段设置为主键

数据类型

数据类型	描述
String	字符串。存储数据常用的数据类型。在 MongoDB 中，UTF-8 编码的字符串才是合法的。
Integer	整型数值。用于存储数值。根据你所采用的服务器，可分为 32 位或 64 位。
Boolean	布尔值。用于存储布尔值（真/假）。
Double	双精度浮点值。用于存储浮点值。
Min/Max keys	将一个值与 BSON（二进制的 JSON）元素的最低值和最高值相对比。
Array	用于将数组或列表或多个值存储为一个键。
Timestamp	时间戳。记录文档修改或添加的具体时间。
Object	用于内嵌文档。
Null	用于创建空值。
Symbol	符号。该数据类型基本上等同于字符串类型，但不同的是，它一般用于采用特殊符号类型的语言。
Date	日期时间。用 UNIX 时间格式来存储当前日期或时间。你可以指定自己的日期时间：创建 Date 对象，传入年月日信息。
Object ID	对象 ID。用于创建文档的 ID。
Binary Data	二进制数据。用于存储二进制数据。
Code	代码类型。用于在文档中存储 JavaScript 代码。
Regular expression	正则表达式类型。用于存储正则表达式。

ObjectId

类似唯一主键，可以很快的去生成和排序，包含 12 bytes，含义是：

• 前 4 个字节表示创建 unix 时间戳,格林尼治时间 UTC 时间，比北京时间晚了 8 个小时
• 接下来的 3 个字节是机器标识码
• 紧接的两个字节由进程 id 组成 PID
• 最后三个字节是随机数

MongoDB 中存储的文档必须有一个 _id 键。这个键的值可以是任何类型的，默认是个 ObjectId 对象

字符串

BSON 字符串都是 UTF-8 编码。

时间戳

BSON 有一个特殊的时间戳类型用于 MongoDB 内部使用，与普通的 日期 类型不相关。 时间戳值是一个 64 位的值。其中：

• 前32位是一个 time_t 值（与Unix新纪元相差的秒数）
• 后32位是在某秒中操作的一个递增的序数

连接

mongodb://[username:password@]host1[:port1][,host2[:port2],...[,hostN[:portN]]][/[database][?options]]

• mongodb:// 这是固定的格式，必须要指定。

• username:password@ 可选项，如果设置，在连接数据库服务器之后，驱动都会尝试登陆这个数据库

• host1 必须的指定至少一个host, host1 是这个URI唯一要填写的。它指定了要连接服务器的地址。如果要连接复制集，请指定多个主机地址。

• portX 可选的指定端口，如果不填，默认为27017

• /database 如果指定username:password@，连接并验证登陆指定数据库。若不指定，默认打开 test 数据库。

• ?options 是连接选项。如果不使用/database，则前面需要加上/。所有连接选项都是键值对name=value，键值对之间通过&或;（分号）隔开

options可选项

选项	描述
replicaSet=name	验证replica set的名称。Impliesconnect=replicaSet.
slaveOk=true，false	true:在connect=direct模式下，驱动会连接第一台机器，即使这台服务器不是主。在connect=replicaSet模式下，驱动会发送所有的写请求到主并且把读取操作分布在其他从服务器。 false: 在 connect=direct模式下，驱动会自动找寻主服务器. 在connect=replicaSet 模式下，驱动仅仅连接主服务器，并且所有的读写命令都连接到主服务器。
safe=true,false	true: 在执行更新操作之后，驱动都会发送getLastError命令来确保更新成功。(还要参考 wtimeoutMS). false: 在每次更新之后，驱动不会发送getLastError来确保更新成功。
w=n	驱动添加 { w : n } 到getLastError命令. 应用于safe=true。
wtimeoutMS=ms	驱动添加 { wtimeout : ms } 到 getlasterror 命令. 应用于 safe=true.
fsync=true,false	true: 驱动添加 { fsync : true } 到 getlasterror 命令.应用于 safe=true. false: 驱动不会添加到getLastError命令中。
journal=true,false	如果设置为 true, 同步到 journal (在提交到数据库前写入到实体中). 应用于 safe=true
connectTimeoutMS=ms	可以打开连接的时间。
socketTimeoutMS=ms	发送和接受sockets的时间。

语法

创建数据库

use db_name

如果数据库不存在就创建，存在就切换到指定数据库，刚创建的数据库在列表中不会显示。只需要向其添加插入数据就可以显示了

删除数据库

db.dropDatabase()

执行这个删除语句要先使用use，选中要删除的数据库，否则默认删除test。

创建集合

db.createCollection(name,options)
name：要创建的集合名称
options：可选择的参数

options可选的参数列表

字段	类型	描述
capped	布尔	（可选）如果为 true，则创建固定集合。固定集合是指有着固定大小的集合，当达到最大值时，它会自动覆盖最早的文档。当该值为 true 时，必须指定 size 参数。
autoIndexId	布尔	（可选）如为 true，自动在 _id 字段创建索引。默认为 false。
size	数值	（可选）为固定集合指定一个最大值（以字节计）。如果 capped 为 true，也需要指定该字段。
max	数值	（可选）指定固定集合中包含文档的最大数量

创建固定集合 mycol，整个集合空间大小 6142800 KB, 文档最大个数为 10000 个

>use test
> db.createCollection("mycol", { capped : true, autoIndexId : true, size : 6142800, max : 10000 } )

删除集合

db.collection_name.drop()

当插入文档时，会自动创建集合

插入文档

使用 insert() 或 save() 方法向集合中插入文档

db.COLLECTION_NAME.insert(document)

使用 db.col.save(document) 命令。如果不指定 _id 字段 save() 方法类似于 insert() 方法。如果指定 _id 字段，则会更新该 _id 的数据

更新文档

使用 update() 和 save() 方法来更新集合中的文档

db.collection.update(
   <query>,
   <update>,
   {
     upsert: <boolean>,
     multi: <boolean>,
     writeConcern: <document>
   }
)

• query : update的查询条件，类似sql update查询内where后面的。
• update : update的对象和一些更新的操作符（如$,$inc…）等，也可以理解为sql update查询内set后面的
• upsert : 可选，这个参数的意思是，如果不存在update的记录，是否插入objNew,true为插入，默认是false，不插入。
• multi : 可选，mongodb 默认是false,只更新找到的第一条记录，如果这个参数为true,就把按条件查出来多条记录全部更新。
• writeConcern :可选，抛出异常的级别。

save（）方法通过传入的文档替换已有的文档

db.collection.save(
   <document>,
   {
     writeConcern: <document>
   }
)

• document : 文档数据。
• writeConcern :可选，抛出异常的级别。

删除文档

db.collection.remove(
   <query>,
   {
     justOne: <boolean>,
     writeConcern: <document>
   }
)

• query :（可选）删除的文档的条件。
• justOne : （可选）如果设为 true 或 1，则只删除一个文档。
• writeConcern :（可选）抛出异常的级别。

查询文档

db.collection.find(query, projection)

• query ：可选，使用查询操作符指定查询条件
• projection ：可选，使用投影操作符指定返回的键。查询时返回文档中所有键值， 只需省略该参数即可（默认省略）。

以易读的方式来读取数据，可以使用 pretty() 方法

>db.col.find().pretty()

MongoDB 与 RDBMS(关系型数据库) Where 语句比较

操作	格式	范例	RDBMS中的类似语句
等于	{<key>:<value>}	db.col.find({“by”:“API参考文档”}).pretty()	where by = ‘API参考文档’
小于	{<key>:{$lt:<value>}}	db.col.find({“likes”:{$lt:50}}).pretty()	where likes < 50
小于或等于	{<key>:{$lte:<value>}}	db.col.find({“likes”:{$lte:50}}).pretty()	where likes <= 50
大于	{<key>:{$gt:<value>}}	db.col.find({“likes”:{$gt:50}}).pretty()	where likes > 50
大于或等于	{<key>:{$gte:<value>}}	db.col.find({“likes”:{$gte:50}}).pretty()	where likes >= 50
不等于	{<key>:{$ne:<value>}}	db.col.find({“likes”:{$ne:50}}).pretty()	where likes != 50

AND 条件

db.col.find({key1:value1, key2:value2}).pretty()

OR 条件

>db.col.find(
   {
      $or: [ {key1: value1}, {key2:value2} ]
   }
).pretty()

AND 和 OR 联合使用
类似常规 SQL 语句为： ‘where likes>50 AND (by = ‘API参考文档’ OR title = ‘MongoDB 教程’)’

>db.col.find({"likes": {$gt:50}, $or: [{"by": "API参考文档"},{"title": "MongoDB 教程"}]}).pretty()

$type 操作符
例如

> db.col.find()
{ "_id" : ObjectId("56066542ade2f21f36b0313a"), "title" : "PHP 教程", "description" : "PHP 是一种创建动态交互性站点的强有力的服务器端脚本语言。", "by" : "API参考文档", "url" : "http://www.apiref.com", "tags" : [ "php" ], "likes" : 200 }
{ "_id" : ObjectId("56066549ade2f21f36b0313b"), "title" : "Java 教程", "description" : "Java 是由Sun Microsystems公司于1995年5月推出的高级程序设计语言。", "by" : "API参考文档", "url" : "http://www.apiref.com", "tags" : [ "java" ], "likes" : 150 }
{ "_id" : ObjectId("5606654fade2f21f36b0313c"), "title" : "MongoDB 教程", "description" : "MongoDB 是一个 Nosql 数据库", "by" : "API参考文档", "url" : "http://www.apiref.com", "tags" : [ "mongodb" ], "likes" : 100 }

db.col.find({"title" : {$type : 2}})
或
db.col.find({"title" : {$type : 'string'}})

Limit() 方法

读取指定数量的数据记录

>db.COLLECTION_NAME.find().limit(NUMBER)

Skip() 方法

跳过NUM2的数据，从第NUM2+1开始读取NUM1条数据

>db.COLLECTION_NAME.find().limit(NUM1).skip(NUM2)

sort() 方法，排序

1 为升序排列，而 -1 是用于降序排列。

>db.COLLECTION_NAME.find().sort({KEY:1})

createIndex() 方法,创建索引

>db.collection.createIndex(keys, options)

Key 值为你要创建的索引字段，1 为指定按升序创建索引，如果你想按降序来创建索引指定为 -1
例如：

db.col.createIndex({"title":1,"description":-1})

options可选参数列表

Parameter	Type	Description
background	Boolean	建索引过程会阻塞其它数据库操作，background可指定以后台方式创建索引，即增加 “background” 可选参数。 “background” 默认值为false。
unique	Boolean	建立的索引是否唯一。指定为true创建唯一索引。默认值为false.
name	string	索引的名称。如果未指定，MongoDB的通过连接索引的字段名和排序顺序生成一个索引名称。
dropDups	Boolean	3.0+版本已废弃。在建立唯一索引时是否删除重复记录,指定 true 创建唯一索引。默认值为 false.
sparse	Boolean	对文档中不存在的字段数据不启用索引；这个参数需要特别注意，如果设置为true的话，在索引字段中不会查询出不包含对应字段的文档.。默认值为 false.
expireAfterSeconds	integer	指定一个以秒为单位的数值，完成 TTL设定，设定集合的生存时间。
v	index	version 索引的版本号。默认的索引版本取决于mongod创建索引时运行的版本。
weights	document	索引权重值，数值在 1 到 99,999 之间，表示该索引相对于其他索引字段的得分权重。
default_language	string	对于文本索引，该参数决定了停用词及词干和词器的规则的列表。 默认为英语
language_override	string	对于文本索引，该参数指定了包含在文档中的字段名，语言覆盖默认的language，默认值为 language.

aggregate() 方法，聚合

主要用于处理数据(诸如统计平均值,求和等)，并返回计算后的数据结果。有点类似sql语句中的 count(*)。

>db.COLLECTION_NAME.aggregate(AGGREGATE_OPERATION)

表达式	描述	实例
$sum	计算总和。	db.mycol.aggregate([{$group : {_id : “$by_user”, num_tutorial : {$sum : “$likes”}}}])
$avg	计算平均值	db.mycol.aggregate([{$group : {_id : “$by_user”, num_tutorial : {$avg : “$likes”}}}])
$min	获取集合中所有文档对应值得最小值。	db.mycol.aggregate([{$group : {_id : “$by_user”, num_tutorial : {$min : “$likes”}}}])
$max	获取集合中所有文档对应值得最大值。	db.mycol.aggregate([{$group : {_id : “$by_user”, num_tutorial : {$max : “$likes”}}}])
$push	在结果文档中插入值到一个数组中。	db.mycol.aggregate([{$group : {_id : “$by_user”, url : {$push: “$url”}}}])
$addToSet	在结果文档中插入值到一个数组中，但不创建副本。	db.mycol.aggregate([{$group : {_id : “$by_user”, url : {$addToSet : “$url”}}}])
$first	根据资源文档的排序获取第一个文档数据。	db.mycol.aggregate([{$group : {_id : “$by_user”, first_url : {$first : “$url”}}}])
$last	根据资源文档的排序获取最后一个文档数据	db.mycol.aggregate([{$group : {_id : “$by_user”, last_url : {$last : “$url”}}}])

管道的概念
MongoDB的聚合管道将MongoDB文档在一个管道处理完毕后将结果传递给下一个管道处理。管道操作是可以重复的。

表达式：处理输入文档并输出。表达式是无状态的，只能用于计算当前聚合管道的文档，不能处理其它的文档。

常用的几个操作：

• $project：修改输入文档的结构。可以用来重命名、增加或删除域，也可以用于创建计算结果以及嵌套文档。
• $match：用于过滤数据，只输出符合条件的文档。$match使用MongoDB的标准查询操作。
• $limit：用来限制MongoDB聚合管道返回的文档数。
• $skip：在聚合管道中跳过指定数量的文档，并返回余下的文档。
• $unwind：将文档中的某一个数组类型字段拆分成多条，每条包含数组中的一个值。
• $group：将集合中的文档分组，可用于统计结果。
• $sort：将输入文档排序后输出。
• $geoNear：输出接近某一地理位置的有序文档。

复制（副本集）

mongodb的复制至少需要两个节点。其中一个是主节点，负责处理客户端请求，其余的都是从节点，负责复制主节点上的数据。

使用同一个MongoDB来做MongoDB主从的例子

1. 关闭正在运行的MongoDB服务器。
   通过指定 --replSet 选项来启动mongoDB。–replSet 基本语法格式如下：

   mongod --port “PORT” --dbpath “YOUR_DB_DATA_PATH” --replSet “REPLICA_SET_INSTANCE_NAME”

   例如：启动一个名为rs0的MongoDB实例，其端口号为27017

   mongod --port 27017 --dbpath “D:\set up\mongodb\data” --replSet rs0

   启动后打开命令提示框并连接上mongoDB服务。
   在Mongo客户端使用命令rs.initiate()来启动一个新的副本集。
   我们可以使用rs.conf()来查看副本集的配置
   查看副本集状态使用 rs.status() 命令

2. 使用rs.add()方法来添加副本集的成员
   rs.add() 命令基本语法格式

   rs.add(HOST_NAME:PORT)

MongoDB中你只能通过主节点将Mongo服务添加到副本集中， 判断当前运行的Mongo服务是否为主节点可以使用命令db.isMaster() 。

MongoDB的副本集与我们常见的主从有所不同，主从在主机宕机后所有服务将停止，而副本集在主机宕机后，副本会接管主节点成为主节点，不会出现宕机的情况

分片

备份与恢复

监控