MongoDB分片实战(三)：性能和优化

最新推荐文章于 2024-07-03 02:25:22 发布

原创最新推荐文章于 2024-07-03 02:25:22 发布 · 170 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#数据库

MongoDB 专栏收录该内容

3 篇文章

订阅专栏

本文详细介绍了MongoDB分片机制中的插入、查询、更新操作原理，特别是针对片键的使用限制及唯一索引的实现方式进行了深入探讨。

[size=x-large][color=black][b]插入、查询和更新[/b][/color][/size]

[size=large][color=black][b]插入[/b][/color][/size]：MongoDB会根据片键和conifg中的信息写入到指定的分片上。

[size=large][color=black][b]读取[/b][/color][/size]：以下内容摘抄自《深入学习MongoDB》

[img]http://images.cnitblog.com/blog/288950/201304/12213433-7f37931d88d94628bc59b99009b3387d.png[/img]

关于读取：上一节故障恢复中已经有所验证。

[size=large][color=black][b]更新[/b][/color][/size]：如果要更新单个文档一定要在片键中使用片键（update的第一个参数）。我们现在OSSP10.bizuser(已经在_id上进行哈希分片)中插入一条记录：

mongos> use OSSP10
2.    switched to db OSSP10
3.    mongos> db.bizuser.insert({"Uid":10001,"Name":"zhanjindong","Age":23})
4.    db.bizuser.find({"Name":"zhanjindong"})
5.    { "_id" : ObjectId("5160dd378bc15cdb61a131fc"), "Uid" : 10001, "Name" : "zhanjindong", "Age" : 23 }

尝试根据Name来更新这个文档会得到一个错误：

1.    mongos> db.bizuser.update({"Name":"zhanjindong"},{"$set":{"Sex":0}})
2.    For non-multi updates, must have _id or full shard key ({ _id: "hashed" }) in query

根据片键来更新则不会有任何问题：

  mongos> db.bizuser.update({"_id":ObjectId("5160dd378bc15cdb61a131fc")},{"$set":{"Sex":0}})
2.    mongos> db.bizuser.find({"Name":"zhanjindong"})
3.    { "Age" : 23, "Name" : "zhanjindong", "Sex" : 0, "Uid" : 10001, "_id" : ObjectId("5160dd378bc15cdb61a131fc") }

但是[size=large][color=black][b]批量更新[/b][/color][/size]中可以用任何条件：

 mongos> db.bizuser.insert({"Uid":10002,"Name":"dsfan","Age":23})
2.    mongos> db.bizuser.insert({"Uid":10003,"Name":"junling","Age":25})
3.    mongos> db.bizuser.update({"Age":23},{"$set":{"Sex":1}},false,true)
4.    mongos> db.bizuser.find({"Age":23})
5.    { "Age" : 23, "Name" : "zhanjindong", "Sex" : 1, "Uid" : 10001, "_id" : ObjectId("5160dd378bc15cdb61a131fc") }
6.    { "Age" : 23, "Name" : "dsfan", "Sex" : 1, "Uid" : 10002, "_id" : ObjectId("5160e2af8bc15cdb61a131fd") }

之所以更新单个文档会有这个强制限制是因为如果不指定片键，MongoDB会将更新操作路由到所有分片上，则无法保证更新操作在整个集群中只操作了一次（不同的分片上可能存在相同Uid的数据），指定片键后，更新操作只会路由到某一个分片上，MongoDB能保证只会更新在这个分片找到的第一个符合条件的文档。下面提到的唯一索引问题和这个问题本质是一样的。批量更新没有这个限制很好理解。

[size=large][color=black][b]排序[/b][/color][/size]：在需要调用sort()来查询排序后的结果的时候，以分片Key的最左边的字段为依据，Mongos可以按照预先排序的结果来查询最少的分片，并且将结果信息返回给调用者。这样会花最少的时间和资源代价。相反，如果在利用sort()来排序的时候，排序所依据的字段不是最左侧（起始）的分片Key，那么Mongos将不得不并行的将查询请求传递给每一个分片，然后将各个分片返回的结果合并之后再返回请求方。这个会增加Mongos的额外的负担。

[size=x-large][color=black][b]片键和索引[/b][/color][/size]

[img]http://images.cnitblog.com/blog/288950/201304/12213652-f61dbb58dec24ee596e65f0f597f4b6e.png[/img]

所有分片的集合在片键上都必须建索引，这是MongoDB自动执行的，所以如果选择某个字段作为片键但是基本不在这个字段做查询那么等于浪费了一个索引，而增加一个索引总是会使得插入操作变慢。

[size=large][color=black][b]唯一索引问题[/b][/color][/size] 如果集群在_id上进行了分片，则无法再在其他字段上建立唯一索引：

mongos> db.bizuser.ensureIndex( { "Uid": 1 }, { unique: true } )
2.    {
3.            "err" : "can't use unique indexes with sharding  ns:OSSP10.bizuser key: { Uid: 1.0 }",
4.            "code" : 10205,
5.            "n" : 0,
6.            "ok" : 1
7.    }

之所以出现这个错误是因为MongoDB无法保证集群中除了片键以外其他字段的唯一性（验证了CAP理论），能保证片键的唯一性是因为文档根据片键进行切分，一个特定的文档只属于一个分片，MongoDB只要保证它在那个分片上唯一就在整个集群中唯一。

如果实现分片集群上的文档唯一性一种方法是在创建片键的时候指定它的唯一性：

mongos> use admin
2.    switched to db admin
3.    mongos> db.runCommand({"enablesharding":"test"})
4.    mongos> db.runCommand({"shardcollection":"test.users","key":{"Uid":1},unique:true})
5.    mongos> use test
6.    switched to db test
7.    mongos> db.users.insert({"Uid":1001})
8.    mongos> db.users.insert({"Uid":1001})
9.    E11000 duplicate key error index: test.users.$Uid_1  dup key: { : 1001.0 }

事实上就是建立了一个唯一索引：

[img]http://images.cnitblog.com/blog/288950/201304/12213809-011d3af5f0b34958a10aa549c1e6629e.png[/img]

[size=large][color=black][b]Note[/b][/color][/size]：更多关于分片集群上唯一索引问题参见《MongoDB Manual》page468。

[size=large][color=black][b]哈希索引[/b][/color][/size]：

[img]http://images.cnitblog.com/blog/288950/201304/12213832-0681f4b984274d79855ec652747fda1b.png[/img]

[img]http://images.cnitblog.com/blog/288950/201304/12213846-3acb14dbbee346e6ba66aed187699a6e.png[/img]

[img]http://images.cnitblog.com/blog/288950/201304/12213903-2efa7d4a19aa4d13a1cbe53f3ade69d0.png[/img]

哈希索引支持使用任何单个字段包括内嵌文档，但是不能使用复合的字段，因此创建哈希索引的时候也只能指定一个字段：

mongos> db.runCommand({"shardcollection":"mydb.mycollection","key":{"Uid":"hashed","Name":"hashed"}})
2.    {
3.            "ok" : 0,
4.            "errmsg" : "hashed shard keys currently only support single field keys"
5.    }

转自：http://www.cnblogs.com/magialmoon/archive/2013/04/12/3017387.html