构建一个Mongo分片集群

最新推荐文章于 2025-05-30 17:46:31 发布
最新推荐文章于 2025-05-30 17:46:31 发布
阅读量1k 收藏 2
点赞数
CC 4.0 BY-SA版权
分类专栏： Nosql MongoDB
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/bamuta/article/details/24795119
本文详细介绍了如何构建一个MongoDB分片集群，包括规划、节点配置、启动配置服务器和 mongos、设置分片副本集，以及激活分片和集合分片的步骤。通过在三台机器上配置多个节点，确保了高可用性和负载均衡。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

构建一个Mongo分片集群

本文中的表述，只代表本人的学习理解，表述可能不准确，不到位，更准确的信息请到官网或其他地方查询。

规划

分片集群需要涉及到这些内容：mongos、configserver、shard、replica set。为了集群的高可用，在本文中每一部分将配置多个节点（副本）。

Mongos:是集群请求的入口，负责把对应的数据请求转发到shard分片中。

ConfigServer: 存储所有数据库元信息（路由、分片）的配置。Mongos中的数据需要从这里加载。

Shard:分片，将1个collection的内容分到不同机器上，这样就解决了硬件性能和容量问题，分而治之的思想。

ReplicaSet：副本集，为了保证每个分片的高可用，每个分片配置了多个副本集。

 

机器节点规划

计划安装3个mongos,3个configServer,3个分片（shard）,每个分片上有2个副本集，1个仲裁。所以共需要15个节点。而实际有三台机器：vm603,vm601,vmzsh。所以在每台机器上启多个端口，以不同的端口代表不同的节点。

每个实际机器上有5个节点，这5个节点分别是：

1.      mongos

2.      config Server

3.      分片Shard1的副本集/仲裁

4.      分片Shard2的副本集/仲裁

5.      分片Shard3的副本集/仲裁

端口规划：

mongos为 20000， config server 为 21000， shard1为 22001 ， shard2为22002， shard3为22003.

 

具体如表格所示：

 

Vm603 (114.174)

Vm601 (114.175)

Vmzsh (114.173)

 

Mongos：20000

Mongos：20000

Mongos：20000

 

Config Server：21000

Config Server：21000

Config Server：21000

 

Shard1-replica set：22001

仲裁：22001

Shard1-replica set：22001

 

Shard2-replica set：22002

仲裁：22002

Shard2-replica set：22002

 

Shard3-replica set：22003

仲裁：22003

Shard3-replica set：22003

 

 

 

 

注：114.17x,表未IP：192.168.114.17x

 

 

节点配置

需要的目录

以下操作需要每台机器都要操作

 

mkdir -p /usr/local/mongodb/mongos/log

mkdir -p /usr/local/mongodb/config/data

mkdir -p /usr/local/mongodb/config/log

mkdir -p /usr/local/mongodb/shard1/data

mkdir -p /usr/local/mongodb/shard1/log

mkdir -p /usr/local/mongodb/shard2/data

mkdir -p /usr/local/mongodb/shard2/log

mkdir -p /usr/local/mongodb/shard3/data

mkdir -p /usr/local/mongodb/shard3/log

 

启动配置服务器

以下操作需要每台机器都要操作

[root@vm603 bin]# ./mongod--port 21000 --configsvr --dbpath /usr/local/mongodb/config/data --logpath/usr/local/mongodb/config/log/config.log –fork

启动mongos服务器

需要上面3个config server都配置完成。

以下操作需要每台机器都要操作

./mongos--configdb 192.168.114.173:21000,192.168.114.174:21000,192.168.114.175:21000--port 20000 --logpath /usr/local/mongodb/mongos/log/mongos.log  --fork

启动mongo的每个分片的副本集：

以下操作需要每台机器都要操作

 

./mongod--shardsvr --replSet shard1 --port 22001 --dbpath/usr/local/mongodb/shard1/data --logpath/usr/local/mongodb/shard1/log/shard1.log --fork --nojournal --oplogSize 10

 

./mongod--shardsvr --replSet shard2 --port 22002 --dbpath/usr/local/mongodb/shard2/data --logpath /usr/local/mongodb/shard2/log/shard2.log--fork --nojournal --oplogSize 10    

 

./mongod--shardsvr --replSet shard3 --port 22003 --dbpath/usr/local/mongodb/shard3/data --logpath/usr/local/mongodb/shard3/log/shard3.log --fork --nojournal --oplogSize 10

设置分片的副本集配置

 

每个分片均需要连接到任意1个副本集

第1个分片

[root@vmzsh bin]# ./mongo localhost:22001

 

> use admin

switched to db admin

>config={_id:"shard1",members:[

... {_id:0,host:"192.168.114.173:22001"},

...{_id:1,host:"192.168.114.174:22001"},

...{_id:2,host:"192.168.114.175:22001",arbiterOnly:true}

... ]}

 

> rs.initiate(config);

 

 

第2个分片：

 

[root@vmzsh bin]# ./mongo localhost:22002

MongoDB shell version: 2.2.2

connecting to: localhost:22002/test

> use admin

switched to db admin

>config={_id:"shard2",members:[

...{_id:0,host:"192.168.114.173:22002"},

...{_id:1,host:"192.168.114.174:22002"},

...{_id:2,host:"192.168.114.175:22002",arbiterOnly:true}

... ]}

> rs.initiate(config);

 

 

第3个分片：

[root@vmzsh bin]# ./mongo localhost:22003

MongoDB shell version: 2.2.2

connecting to: localhost:22003/test

> use admin

switched to db admin

>config={_id:"shard3",members:[

...{_id:0,host:"192.168.114.173:22003"},

...{_id:1,host:"192.168.114.174:22003"},

...{_id:2,host:"192.168.114.175:22003",arbiterOnly:true}

... ]}

 

> rs.initiate(config);

 

配置分片集群

 

连接到其中任意一个mongos节点，并切换到admin数据库做以下配置

 

[root@vm603 bin]# ./mongolocalhost:20000/admin

MongoDB shell version: 2.2.2

connecting to: localhost:20000/admin

mongos>

db.runCommand({addshard:"shard1/192.168.114.173:22001,192.168.114.174:22001,192.168.114.175:22001",name:"shard1",maxSize:20480});

{ "shardAdded" :"shard1", "ok" : 1 }

mongos> db.runCommand({addshard:"shard2/192.168.114.173:22002,192.168.114.174:22002,192.168.114.175:22002",name:"shard2",maxSize:20480});

{ "shardAdded" :"shard2", "ok" : 1 }

mongos> db.runCommand({addshard:"shard3/192.168.114.173:22003,192.168.114.174:22003,192.168.114.175:22003",name:"shard3",maxSize:20480});

{ "shardAdded" :"shard3", "ok" : 1 }

 

说明：

如里shard是单台服务器，用 db.runCommand( { addshard : “[: ]”} )

如果shard是副本集，

用db.runCommand( {addshard : “replicaSetName/[:port][,serverhostname2[:port],…]”}); 

查看分片集群配置信息

mongos> db.runCommand({listshards:1});

{
       "shards" : [
                {
                        "_id" :"shard1",
                        "host" :"shard1/192.168.114.173:22001,192.168.114.174:22001",
                        "maxSize" :NumberLong(20480)
                },
                {
                        "_id" :"shard2",
                        "host" :"shard2/192.168.114.173:22002,192.168.114.174:22002",
                        "maxSize" :NumberLong(20480)
                },
                {
                        "_id" :"shard3",
                        "host" :"shard3/192.168.114.173:22003,192.168.114.174:22003",
                        "maxSize" : NumberLong(20480)
                }
       ],
       "ok" : 1
}


 

创建数据库并激活分片：

[root@vm601 bin]# ./mongolocalhost:20000/admin

mongos> db

admin

mongos> use nosql

switched to db nosql

mongos> for (var i=0;i<100;i++)db.tan.insert({uid:i,uname:'nosql'+i});

mongos> use admin

switched to db admin

 

激活数据库分片功能

mongos>db.runCommand({enablesharding:"nosql"});

{ "ok" : 1 }

mongos>

集合分片

mongos> use nosql

switched to db nosql

mongos>db.tan.ensureIndex({"uid":1});

mongos> use admin

switched to db admin

mongos> db.runCommand({shardcollection:"nosql.tan",key:{uid:1}});

{ "collectionsharded" :"nosql.tan", "ok" : 1 }

mongos>

 

mongos> use nosql

switched to db nosql

mongos> db.tan.stats();
{
       "sharded" : true,
       "ns" : "nosql.tan",
       "count" : 100,
       "numExtents" : 2,
       "size" : 5600,
       "storageSize" : 20480,
       "totalIndexSize" : 16352,
       "indexSizes" : {
                "_id_" : 8176,
                "uid_1" : 8176
       },
       "avgObjSize" : 56,
       "nindexes" : 2,
       "nchunks" : 1,
       "shards" : {
                "shard1" : {
                        "ns" :"nosql.tan",
                        "count" :100,
                        "size" :5600,
                        "avgObjSize": 56,
                        "storageSize": 20480,
                        "numExtents": 2,
                        "nindexes" :2,
                       "lastExtentSize" : 16384,
                       "paddingFactor" : 1,
                        "systemFlags": 1,
                        "userFlags" :0,
                       "totalIndexSize" : 16352,
                        "indexSizes": {
                               "_id_" : 8176,
                               "uid_1" : 8176
                        },
                        "ok" : 1
                }
       },
       "ok" : 1
}


 

该集合只存放在1个分片上。再增加些数据，然后查看：

mongos> for(vari=101;i<1000000;i++)db.tan.insert({uid:i,uname:'nosql'+i});

mongos> db.tan.stats();
{
       "sharded" : true,
       "ns" : "nosql.tan",
       "count" : 999999,
       "numExtents" : 24,
       "size" : 59960000,
       "storageSize" : 104407040,
       "totalIndexSize" : 60714976,
       "indexSizes" : {
                "_id_" : 32638592,
                "uid_1" : 28076384
       },
       "avgObjSize" : 59.96005996005996,
       "nindexes" : 2,
       "nchunks" : 6,
       "shards" : {
                "shard1" : {
                        "ns" :"nosql.tan",
                        "count" :384748,
                        "size" :23084912,
                        "avgObjSize": 60.00008317132253,
                       "storageSize" :43171840,
                        "numExtents": 10,
                        "nindexes" :2,
                       "lastExtentSize" : 13942784,
                       "paddingFactor" : 1,
                        "systemFlags": 1,
                        "userFlags" :0,
                       "totalIndexSize" : 23448768,
                        "indexSizes": {
                               "_id_" : 12607392,
                               "uid_1" : 10841376
                       },
                        "ok" : 1
                },
                "shard2" : {
                        "ns" :"nosql.tan",
                        "count" :15598,
                        "size" :895884,
                        "avgObjSize": 57.43582510578279,
                        "storageSize": 2793472,
                        "numExtents": 5,
                        "nindexes" :2,
                       "lastExtentSize" : 2097152,
                        "paddingFactor" : 1,
                        "systemFlags": 1,
                        "userFlags" :0,
                       "totalIndexSize" : 1046528,
                        "indexSizes": {
                               "_id_" : 555968,
                               "uid_1" : 490560
                        },
                        "ok" : 1
                },
                "shard3" : {
                        "ns" :"nosql.tan",
                        "count" :599653,
                       "size" :35979204,
                        "avgObjSize": 60.00004002314672,
                        "storageSize": 58441728,
                        "numExtents": 9,
                        "nindexes" :2,
                        "lastExtentSize": 20643840,
                       "paddingFactor" : 1,
                        "systemFlags": 1,
                        "userFlags" :0,
                       "totalIndexSize" : 36219680,
                        "indexSizes": {
                               "_id_" : 19475232,
                               "uid_1" : 16744448
                        },
                        "ok" : 1
                }
       },
       "ok" : 1
}


Mongo的分片集群配置完成。

JAVA上访问该集群里，可同时连接到上面3个mongos上.

 

 

本文部分参考：http://www.lanceyan.com/tech/arch/mongodb_shard1.html

MongoDB分片集群部署
Meguling的博客
04-23 1162
三台设备都需要部署shard1形成副本集，最后部署完成的结果是：192.168.36.137为主(PRIMARY)，138为从(SECONDARY)，139为仲裁(ARBITER)，端口都为22001。三台设备都需要部署shard2形成副本集，最后部署完成的结果是：192.168.36.137为仲裁(ARBITER)，138为主(PRIMARY)，139为从(SECONDARY)，端口都为22002。三台设备同样也都需要部署route，端口都为20000。所有设备都要进行如下操作。
Mongo实战-分片集群的查询与索引
wanght89的专栏
09-12 8474
本篇博文讲解了在分片集群上的查询和索引，在mongos上创建的索引会在每个分片上单独执行，且最终每个分片上的索引是一致的，用于确保查询效率一致，而且分片集群上只值允许在_id和分片键上创建唯一性索引。分片集群上的查询，根据查询中是否包含了分片键区分为指定性查询和全局查询。
MongoDB 分片集群
Dongguazhuzhuzhu的博客
04-22 2147
mongos， 提供集群单一入口，转发应用端请求，选择合适的数据节点进行读写，合并多个数据节点的返回。客户请求应发给mongos，而不是 分片服务器，当查询包含分片片键时，mongos将查询发送到指定分片，否则，mongos将查询发送到所有分片，并汇总所有查询结果。当数据段尺寸过大，或者包含过多文档时，触发数据段分裂,只有新增、更新文档时才可能自动触发数据段分裂,数据段分裂通过更新元数据来实现。1. MongoDB的分片时基于集合的，就算有分片集群不等于数据会自动分片，需要显示分片表。
mongodb集群之分片集群
最新发布
执念的帅气花
05-30 1375
对于正式环境，官方推荐方案如图，也就是说config、shard都要配置成副本集模式，且节点最好为3个以上，即推荐。节点，其中，config为3个节点以上的副本集群，shard1为3个节点以上的副本集群，shard2为3个节点以上的副本集群，router至少1个。说明：配置到spring boot中的话，直接配置router的信息就行，如果单独想用某个分片的，也可以配置对应分片的信息，都是连接的。（一般会需要数据、日志、配置、pid等文件，数据和配置是必须的，其他的根据自己的需求），方便后续操作和运维。
Mongo分片集群搭建
UnionIBM的博客
09-24 595
当MongoDB存储海量的数据时，一台机器可能不足以存储数据，也可能不足以提供可接受的读写吞吐量。这时，我们就可以通过在多台机器上分割数据，使得数据库系统能存储和处理更多的数据 为什么使用分片 复制所有的写入操作到主节点 延迟的敏感数据会在主节点查询 单个副本集限制在12个节点 当请求量巨大时会出现内存不足。 本地磁盘不足 垂直扩展价格昂贵
docker compose mongo 分片集群
01-13
要使用 Docker Compose 创建一个 MongoDB 分片集群，需要进行以下步骤： 1. 定义 Docker Compose 文件：创建一个 YAML 格式的 Docker Compose 文件来描述 MongoDB 分片集群的不同部分和配置。例如，需要定义有关分...
MongoDB分片集群
2301_81634185的博客
06-17 679
MongoDB 是一个基于分布式文件存储的开源数据库系统，由 C++ 语言编写。旨在为 WEB 应用提供可扩展的高性能数据存储解决方案。分片是 MongoDB 用于支持大规模数据集和高吞吐量操作的关键技术之一。综上所述，MongoDB 的分片技术提供了一个强大的方式来处理大规模的数据集，通过横向扩展来提高数据库的性能和存储能力。正确配置和维护分片集群能够显著提升应用的性能和稳定性。
MongoDB搭建高可用集群的完整步骤（3个分片+3个副本）
12-16
对于mongos，它是客户端与分片集群之间的路由服务，配置文件同样包括数据和日志路径，以及`configdb`参数，它指定了config server的地址。 启动MongoDB服务时，我们需要先启动config servers，然后启动mongos。这样...
mongo集群脚本参考.zip
09-09
在一个分片集群中，数据会被自动分配到各个分片上，而每个分片又可能是由副本集组成的，这样既实现了数据的分布式存储，又提供了故障转移的能力。 **mongo集群脚本参考** 在“mongo集群脚本参考.zip”这个压缩包中...
8.MongoDB之分片集群
热门推荐
mijichui2153的博客
03-14 1万+
一、mongodb分片与各角色与概念介绍 Mongodb的分片机制是mongodb数据库的核心机制，也是其可用性高，扩展性好的原因，分片—sharding 的意思就是将数据库数据分散存贮到不同的服务器上，来缓解高并发访问，均衡负载。举例来说一下，比如说一个collection有TB级别的数据，在传统方式下如果有两个线程要访问其中的数据，即使这个线程访问的数据是不同的，为保证同步需要排队等待，分片机制可以很好的解决这个问题，分片机制其实就是分布式的集群，比如现在有五台服务器作为集群，mongodb可以将一.
三、MongoDB复制集，分片集群
Xx__WangQi的博客
04-22 2361
一、MongoDB 高可用复制集架构 MongoDB 复制集 MongoDB复制集的主要意义在于实现服务高可用，类似于Redis中的哨兵模式 它主要提供两个方面的功能 1. 数据写入主节点（Primary）时将数据复制到另一个副本节（Secondary）点上 2. 主节点发生故障时自动选举出一个新的替代节点 在实现高可用的同时，复制集实现了其他几个作用 数据分发：将数据从一个区域复制到另一个区域，减少另一个区域的读延迟 读写分离：不同类型的压力分别在不同的节点上执行 异地容灾：在数据.
搭建MongoDB分片集群
misakivv的博客
05-03 3147
分片（sharding）是一种跨多台机器分布数据的方法，MongoDB使用分片来支持具有非常大的数据集和高吞吐量操作的部署。 分片是将数据拆分，散到不同的机器上，不需要功能强大的大型计算机就可以储存更多的数据，处理更多的负载。有时也叫分区 (partitioning)。
mongodb分片集群搭建
小识的博客
05-29 1232
介绍 系统：cenos7.6 安装包：https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-4.0.9.tgz 安装规划 服务器1 服务器2 服务器3 mongos mongos mongos config server config server config server shard server1 shard se...
『MongoDB』MongoDB高可用部署架构——分片集群篇（Sharding）
老陈聊架构
03-23 3607
📣读完这篇文章里你能收获到，为什么要使用分片吗， Mongodb分片集群有哪些特点了， Mongodb分片集群的完整架构，Mongodb分片集群数据分布方式， Mongodb分片集群的设计思路， Mongodb分片集群搭建及扩容...
实战：MongoDB 分片集群Shard Cluster 搭建（1台路由节点，3台配置节点，9台分片节点）
chuanchengdabing的博客
09-25 4125
MongoDB 分片集群搭建 一、搭建要求 一台路由节点 IP地址：192.168.80.110 端口：11111 三套复制集（每个分片节点中的复制集 都需要有仲裁节点） IP地址： 192.168.80.55 ， 端口：15555/15556/15557 IP地址： 192.168.80.56 ， 端口：15555/15556/15557 IP地址： 192.168.80.57 ， 端口：15555/15556/15557 一
2. MongoDB分片集群架构实战-----MongoDB分片集群和多文档事务详解
俺就是菜的很的博客
06-28 3550
分片(shard)是指在将数据进行水平切分之后，将其存储到多个不同的服务器节点上的一种扩展方式。分片在概念上非常类似于应用开发中的“水平分表"。不同的点在于，MongoDB本身就自带了分片管理的能力，对于开发者来说可以做到开箱即用。为什么要使用分片?MongoDB复制集实现了数据的多副本复制及高可用，但是一个复制集能承载的容量和负载是有限的。在你遇到下面的场景时，就需要考虑使用分片了∶存储容量需求超出单机的磁盘容量。活跃的数据集超出单机内存容量,导致很多请求都要从磁盘读取数据，影响性能。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值