高可用mongodb集群的学习记录(四mongodb分片集群搭建)

最新推荐文章于 2020-07-27 15:35:42 发布
转载 最新推荐文章于 2020-07-27 15:35:42 发布 · 186 阅读 · 0 ·
CC 4.0 BY-SA版权
原文链接：https://yq.aliyun.com/articles/513628
文章标签：

#数据库 #shell

本文详细介绍了在单一机器上搭建MongoDB分片集群的过程，包括资源划分、安装配置、启动各组件、设置副本集及分片等关键步骤，并通过实例验证了分片的有效性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

无论oracle还是mysql数据库都有分区的概念，即同一张表物理上不在同一台机器上，有效缓解了表都集中存在一台机器的压力。当然，mongodb也有类似的机制，即是分片。具体理论知识大家可以参考网上文档，我这里只记录下具体操作步骤

dc166a30dd685af75d234808f3f9cdf6.png

参考网络上一个图。我选用的是2个副本集+1个仲裁。实际上我这里分片集群需要3个mongos，3个config server，数据分片3个shard server，对应着还有3个副本，3个仲裁节点，总共需要15个实例。因为我资源确实紧张，又不想影响实验效果。冥思苦想了一阵，索性在一台机器上实现得了，分给不同的实例以不同的端口就好了。

闲话少说，开始搞起！！！

1. 资源划分（感觉这是最纠结的一步）

1543bdd4f7373a4801f4961af2d317dc.png 

2. mongdb的安装

这个可以参考博主的前一篇章进行安装高可用mongodb集群的学习记录(一安装配置MongoDB)

3.创建所需要的目录

1
2
3
4
5
6
#创建所需要的目录
[root@DB mongodb] # mkdir -p mongos{1..3}/log
[root@DB mongodb] # mkdir -p config{1..3}/log
[root@DB mongodb] # mkdir -p config{1..3}/data
[root@DB mongodb] # mkdir -p shard{1..3}_{1..3}/log
[root@DB mongodb] # mkdir -p shard{1..3}_{1..3}/data


4. 启动每一个配置服务器

1
2
3
4
#启动配置服务器
mongod --configsvr --dbpath config1 /data  --port 21001 --logpath config1 /log/config .log --fork
mongod --configsvr --dbpath config2 /data  --port 21002 --logpath config2 /log/config .log --fork
mongod --configsvr --dbpath config3 /data  --port 21003 --logpath config3 /log/config .log --fork


5.启动mongos服务器

1
2
3
mongos --configdb 192.168.221.160:21001,192.168.221.160:21002,192.168.221.160:21003 --port 20001 --logpath mongos1 /log/mongos .log --fork
mongos --configdb 192.168.221.160:21001,192.168.221.160:21002,192.168.221.160:21003 --port 20002 --logpath mongos2 /log/mongos .log --fork
mongos --configdb 192.168.221.160:21001,192.168.221.160:21002,192.168.221.160:21003 --port 20003 --logpath mongos3 /log/mongos .log --fork


6.启动分片的副本集

 

1
2
3
4
5
6
7
8
9
   mongod --shardsvr --replSet shard1 --port 21101 --dbpath shard1_1 /data  --logpath shard1_1 /log/shard .log --fork --nojournal --oplogSize 10 
   mongod --shardsvr --replSet shard1 --port 21201 --dbpath shard1_2 /data  --logpath shard1_2 /log/shard .log --fork --nojournal --oplogSize 10 
   mongod --shardsvr --replSet shard1 --port 21301 --dbpath shard1_3 /data  --logpath shard1_3 /log/shard .log --fork --nojournal --oplogSize 10 
   mongod --shardsvr --replSet shard2 --port 21102 --dbpath shard2_1 /data  --logpath shard2_1 /log/shard .log --fork --nojournal --oplogSize 10 
   mongod --shardsvr --replSet shard2 --port 21202 --dbpath shard2_2 /data  --logpath shard2_2 /log/shard .log --fork --nojournal --oplogSize 10 
   mongod --shardsvr --replSet shard2 --port 21302 --dbpath shard2_3 /data  --logpath shard2_3 /log/shard .log --fork --nojournal --oplogSize 10 
   mongod --shardsvr --replSet shard3 --port 21103 --dbpath shard3_1 /data  --logpath shard3_1 /log/shard .log --fork --nojournal --oplogSize 10 
   mongod --shardsvr --replSet shard3 --port 21203 --dbpath shard3_2 /data  --logpath shard3_2 /log/shard .log --fork --nojournal --oplogSize 10 
   mongod --shardsvr --replSet shard3 --port 21303 --dbpath shard3_3 /data  --logpath shard3_3 /log/shard .log --fork --nojournal --oplogSize 10


7.分别对每个分片配置副本集,任意登录一个节点

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
#设置第一个分片副本集
[root@DB ~] # mongo 192.168.221.160:21101
MongoDB shell version: 3.0.6
connecting to: 192.168.221.160:21101 /test
> use admin
switched to db admin
#定义副本集配置信息
> config = {_id: "shard1" ,members:[{_id:0,host: "192.168.221.160:21101" },{_id:1,host: "192.168.221.160:21201" },{_id:2,host: "192.168.221.160:21301" ,arbiterOnly: true }]}
{
"_id"  :  "shard1" ,
"members"  : [
{
"_id"  : 0,
"host"  :  "192.168.221.160:21101"
},
{
"_id"  : 1,
"host"  :  "192.168.221.160:21201"
},
{
"_id"  : 2,
"host"  :  "192.168.221.160:21301" ,
"arbiterOnly"  :  true
}
]
}
#初始化副本集信息
> rs.initiate(config)
{  "ok"  : 1 }
shard1:OTHER> 
  
#设置第二个分片副本集
[root@DB ~] # mongo 192.168.221.160:21102
MongoDB shell version: 3.0.6
connecting to: 192.168.221.160:21102 /test
> use admin
switched to db admin
> config = {_id: "shard2" ,members:[{_id:0,host: "192.168.221.160:21102" },{_id:1,host: "192.168.221.160:21202" },{_id:2,host: "192.168.221.160:21302" ,arbiterOnly: true }]}
{
"_id"  :  "shard2" ,
"members"  : [
{
"_id"  : 0,
"host"  :  "192.168.221.160:21102"
},
{
"_id"  : 1,
"host"  :  "192.168.221.160:21202"
},
{
"_id"  : 2,
"host"  :  "192.168.221.160:21302" ,
"arbiterOnly"  :  true
}
]
}
> rs.initiate(config)
{  "ok"  : 1 }
shard2:OTHER> 
#设置第三个分片副本集
[root@DB ~] # mongo 192.168.221.160:21103
MongoDB shell version: 3.0.6
connecting to: 192.168.221.160:21103 /test
> use admin
switched to db admin
> config = {_id: "shard3" ,members:[{_id:0,host: "192.168.221.160:21103" },{_id:1,host: "192.168.221.160:21203" },{_id:2,host: "192.168.221.160:21303" ,arbiterOnly: true }]}
{
"_id"  :  "shard3" ,
"members"  : [
{
"_id"  : 0,
"host"  :  "192.168.221.160:21103"
},
{
"_id"  : 1,
"host"  :  "192.168.221.160:21203"
},
{
"_id"  : 2,
"host"  :  "192.168.221.160:21303" ,
"arbiterOnly"  :  true
}
]
}
> rs.initiate(config)
{  "ok"  : 1 }
shard3:OTHER>


8.登录到每一个mongos，设置分片配置，让分片生效

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
#串联路由服务器与分片副本集1
[root@DB ~] # mongo 192.168.221.160:20001
MongoDB shell version: 3.0.6
connecting to: 192.168.221.160:20001 /test
Server has startup warnings: 
2017-11-15T13:51:20.732+0800 I CONTROL  ** WARNING: You are running this process as the root user,  which  is not recommended.
2017-11-15T13:51:20.733+0800 I CONTROL  
mongos> use admin
switched to db admin
mongos> db.runCommand({addshard: "shard1/192.168.221.160:21101,192.168.221.160:21201,192.168.221.160:21301" })
{  "shardAdded"  :  "shard1" ,  "ok"  : 1 }
mongos> 
#串联路由服务器与分片副本集2
[root@DB ~] # mongo 192.168.221.160:20002
MongoDB shell version: 3.0.6
connecting to: 192.168.221.160:20002 /test
Server has startup warnings: 
2017-11-15T13:51:43.660+0800 I CONTROL  ** WARNING: You are running this process as the root user,  which  is not recommended.
2017-11-15T13:51:43.661+0800 I CONTROL  
mongos> use admin
switched to db admin
mongos> db.runCommand({addshard: "shard2/192.168.221.160:21102,192.168.221.160:21202,192.168.221.160:21302" })
{  "shardAdded"  :  "shard2" ,  "ok"  : 1 }
mongos> 
  
#串联路由服务器与分片副本集3
[root@DB ~] # mongo 192.168.221.160:20003
MongoDB shell version: 3.0.6
connecting to: 192.168.221.160:20003 /test
Server has startup warnings: 
2017-11-15T13:51:59.589+0800 I CONTROL  ** WARNING: You are running this process as the root user,  which  is not recommended.
2017-11-15T13:51:59.589+0800 I CONTROL  
mongos> use admin
switched to db admin
mongos> db.runCommand({addshard: "shard3/192.168.221.160:21103,192.168.221.160:21203,192.168.221.160:21303" })
{  "shardAdded"  :  "shard3" ,  "ok"  : 1 }
mongos>


9.查看分片服务器的配置信息：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
mongos> db.runCommand({listshards:1})
{
"shards"  : [
{
"_id"  :  "shard1" ,
"host"  :  "shard1/192.168.221.160:21101,192.168.221.160:21201"
},
{
"_id"  :  "shard2" ,
"host"  :  "shard2/192.168.221.160:21102,192.168.221.160:21202"
},
{
"_id"  :  "shard3" ,
"host"  :  "shard3/192.168.221.160:21103,192.168.221.160:21203"
}
],
"ok"  : 1
}
mongos>


    仲裁节点不储存数据，没有在这里显示出来

10.连接mongos上，指定数据库、指定集合让分片生效

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
[root@DB ~] # mongo 192.168.221.160:20001
MongoDB shell version: 3.0.6
connecting to: 192.168.221.160:20001 /test
mongos> db.runCommand({enablesharding: "testdb" })
{
"ok"  : 0,
"errmsg"  :  "enableSharding may only be run against the admin database." ,
"code"  : 13
}
mongos> use admin
switched to db admin
mongos> db.runCommand({enablesharding: "testdb" })
{  "ok"  : 1 }
mongos> db.runCommand({shardcollection: "testdb.table1" ,key:{ id :1}})
{  "collectionsharded"  :  "testdb.table1" ,  "ok"  : 1 }
mongos>


设置testdb的 table1 表需要分片，根据 id 自动分片到 shard1 ，shard2，shard3 上面去。要这样设置是因为不是所有mongodb 的数据库和表都需要分片

 

11.测试分片片配置效果

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
[root@DB ~] # mongo 192.168.221.160:20001
MongoDB shell version: 3.0.6
connecting to: 192.168.221.160:20001 /test
Server has startup warnings: 
2017-11-15T13:51:20.732+0800 I CONTROL  ** WARNING: You are running this process as the root user,  which  is not recommended.
2017-11-15T13:51:20.733+0800 I CONTROL  
mongos> use testdb;
switched to db testdb
mongos>  for  (var i = 1;i<=10000;i++) db.table1.save({ id :i, "test1" : "item1" })
WriteResult({  "nInserted"  : 1 })
mongos> db.table1.stats()
{
"sharded"  :  true ,
"paddingFactorNote"  :  "paddingFactor is unused and unmaintained in 3.0. It remains hard coded to 1.0 for compatibility only." ,
"userFlags"  : 1,
"capped"  :  false ,
"ns"  :  "testdb.table1" ,
"count"  : 10000,
"numExtents"  : 7,
"size"  : 1120000,
"storageSize"  : 2809856,
"totalIndexSize"  : 654080,
"indexSizes"  : {
"_id_"  : 351568,
"id_1"  : 302512
},
"avgObjSize"  : 112,
"nindexes"  : 2,
"nchunks"  : 3,
"shards"  : {
"shard1"  : {
"ns"  :  "testdb.table1" ,
"count"  : 9991,
"size"  : 1118992,
...
"ok"  : 1,
"$gleStats"  : {
"lastOpTime"  : Timestamp(0, 0),
"electionId"  : ObjectId( "5a0bd9cf86a6b76e11b5d820" )
}
},
"shard2"  : {
"ns"  :  "testdb.table1" ,
"count"  : 1,
"size"  : 112,
...
"ok"  : 1,
"$gleStats"  : {
"lastOpTime"  : Timestamp(0, 0),
"electionId"  : ObjectId( "5a0bdadd74c5945a33a4ae46" )
}
},
"shard3"  : {
"ns"  :  "testdb.table1" ,
"count"  : 8,
"size"  : 896,
...
"ok"  : 1,
"$gleStats"  : {
"lastOpTime"  : Timestamp(0, 0),
"electionId"  : ObjectId( "5a0bdb6f1c75115f41ff92f9" )
}
}
},
"ok"  : 1
}
mongos>


可以看到testdb.table1数据已经被分到三个分片，各自分片数量为 shard1 “count” : 9991，shard2 “count” : 1，shard3 “count” : 8。我也不知道为啥分配的不均匀。纳闷ing

好了，实验到此结束，关于mongodb的学习会继续进行...

 

本文转自 青苗飞扬 51CTO博客，原文链接:http://blog.51cto.com/qingmiao/1982044
Mongodb的副本集+分片部署
直到世界的尽头
03-18 5391
前面尝试了三种部署： 1.主从部署(Mongodb的主从部署) 2.副本集部署(Mongodb的副本集部署) 3.分片部署(Mongodb的分片部署) 现在尝试一下副本集+分片的部署，也就是比副本集多了分片的功能，在分片配置时，分片节点从单一mongod变成了一个集合。 参考资料(http://blog.youkuaiyun.com/irelandken/article/details/80
mysql 集群分片分区_高可用mongodb集群的学习记录(四mongodb分片集群搭建)
weixin_42420393的博客
02-18 286
无论oracle还是mysql数据库都有分区的概念，即同一张表物理上不在同一台机器上，有效缓解了表都集中存在一台机器的压力。当然，mongodb也有类似的机制，即是分片。具体理论知识大家可以参考网上文档，我这里只记录下具体操作步骤参考网络上一个图。我选用的是2个副本集+1个仲裁。实际上我这里分片集群需要3个mongos，3个config server，数据分片3个shard server，对应着还...
mongodb片键设置
修身、齐家、治国、平天下！
07-26 3566
mongos&gt; db.runCommand({shardcollection:"testdb.t6",key:{_id:1}}) {     "ok" : 0,     "errmsg" : "shardCollection may only be run against the admin database.",     "code" : 13,     "codeName&quot
Mongodb Sharding 分片
好玩的事情要记录下来~
02-15 5605
Mongodb Sharding       介绍 Sharding in MongoDB     分片组建： Shards(建议用Replica)、Query Routers、Config Servers。   Shards store the data. To provide high availability and dataconsistency, in
mongodb4.0.13分片集群搭建
愤怒的苹果ext的博客
11-26 1149
目录简介MongoDB中的分片集群部署分片集群部署结构规划下载解压安装包配置config servers副本集建立3个shard复制集shard1复制集shard2复制集shard3复制集配置mongos(路由)测试分片集群其他 简介 分片是一种用于在多台计算机之间分配数据的方法。MongoDB使用分片来支持具有非常大的数据集和高吞吐量操作的部署。 具有大数据集或高吞吐量应用程序的数据库系统可能...
linux 混合模式MongoDB服务搭建（数据分片）
xuedengyong的博客
07-27 305
linux 混合模式MongoDB服务搭建（数据分片）准备在ip1 主机上创建仲裁服务创建配置服务创建分片服务复制以上文件到ip2 和Ip3服务器上二级目录三级目录 准备 至少准备9台机器，如果没有，可启动9个MongoDB 由于自己只有三台虚拟机，所以，下面就开始搭建伪分布式MongoDB集群 在ip1 主机上 创建仲裁服务 mongodb文件夹下创建routersvr 在routersvr文件夹下创建 log config 在config 文件夹下创建mongodb.cfg vi mongodb.cf
搭建高可用mongodb集群（四）——分片
02-26
“分片”就用这个来解决这个问题。传统数据库怎么做海量数据读写？其实一句话概括：分而治之。上图看看就清楚了，如下TaoBao岳旭强提到的架构图：上图中有个TDDL，是TaoBao的一个数据访问层组件，他主要的作用是SQL...
MongoDB搭建高可用集群的完整步骤（3个分片+3个副本）
12-16
在本文中，我们将探讨如何搭建一个高可用的MongoDB集群，包括3个分片和3个副本集，确保数据的高可用性和容错性。 首先，我们需要规划网络端口和IP地址。在给出的架构图中，每个副本集由3个节点组成，每个节点都有一...
Mongod的复制
weixin_34092370的博客
02-11 327
1、主从复制主从复制是MongoDB最常用的复制方式,这种方式很灵活.可用于备份,故障恢复,读扩展等。最基本的设置方式就是建立一个主节点和一个或多个从节点,每个从节点要知道主节点的地址。运行mongod --master就启动了主服务器；运行mongod --slave --source master_address就启动了从服务器。其中mas...
MongoDB分片详细教程
09-18
MongoDB分片详细教程。教程内容非常仔细,照着教程很轻松就成功了。
MongoDB分片配置
wangxiaofei2006的专栏
08-10 4802
简单注解： mongos 路由进程， 应用程序接入mongos再查询到具体分片,监听端口默认27017config server 路由表服务， 每一台都具有全部chunk的路由信息 shard为数据存储分片， 每一片都可以是复制集（replica set) 部署分片集群 #配置mongoDB shareding时，使用hosts域名代替IP
MongoDB 分布式部署教程
weixin_33758863的博客
12-24 2248
本文将介绍如何使用 MongoDB 提供的 Replica Set 和 Shards 功能构建一个分布式 MongoDB 集群。 Replica Set 部署 我们先从部署一个三节点的 Replica Set 开始。 首先，我们要为每个 mongod 实例创建它自己的 dbpath： 123 mkdir 1mkdir 2mkdir 3 然后，我们便可以开始启动这三个 mong...
基于CentOS 7、 mongoDB 3.4.2 伪分片集群使用
ling811的专栏
03-17 1789
一、预准备环境： 本次搭建按照3+3+9的模式进行伪分布式结构（3个mongos对外提供服务，3个configServer保存配置信息，3个mongod存储数据，3个mongod作为数据副本，3个mongod作为仲裁节点）； （1）为配置服务configServer创建集群文件夹保存服务的信息：例：mkdir /home/mongo/cluster/config1/data; mkdir /ho
第45章：MongoDB-集群--Sharding(分片)--分片的管理
weixin_30378623的博客
03-26 184
①列出所有的Shard db.runCommand({“listshards”:1}); ②查看分片信息 db.printShardingStatus(); ③判断是否分片 db.runCommand({isdbgrid:1}); 返回ok为1的就是分片 ④查看集群信息摘要 sh.status()命令...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值