MongoDB分片集群部署，使用

最新推荐文章于 2025-05-07 15:13:06 发布
最新推荐文章于 2025-05-07 15:13:06 发布
阅读量1.5k 收藏 29
点赞数 30
文章标签： mongodb 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_61920297/article/details/140684958
版权

一、准备环境

  • 1、建议使用新安装的虚拟机，不然会报各种离谱错误。
  • 2、建议使用同一个版本的数据库，不然数据字典不一致可能导致各种问题。

1 服务器详情

1.1 服务器配置（示例）
项 信息
操作系统 Red Hat Enterprise Linux Server release 7.8 (Maipo)
CPU 1(Thread) × 1(Core) × 4(Socket)
内存 4GB
磁盘 40G
1.2 部署情况（示例）
服务器IP OS登录信息 节点状态、部署服务及对应端口号
192.168.6.107 mongod/mongod shard1，sard2，config，mongos
192.168.6.108 mongod/mongod shard1，sard2，config，mongos
192.168.6.111 mongod/mongod shard1，sard2，config，mongos

生产中使用的常见分片集群架构：
在这里插入图片描述

  • 数据分片：分片用于存储真正的数据，并提供最终的数据读写访问。分片仅仅是一个逻辑的概念，它可以是一个单独的mongod实例，也可以是一个复制集。图中的Shard1、Shard2都是一个复制集分片。在生产环境中也一般会使用复制集的方式，这是为了防止数据节点出现单点故障。

  • 配置服务器（Config Server）：配置服务器包含多个节点，并组成一个复制集结构，对应于图中的ConfigReplSet。配置复制集中保存了整个分片集群中的元数据，其中包含各个集合的分片策略，以及分片的路由表等。

  • 查询路由（mongos）：mongos是分片集群的访问入口，其本身并不持久化数据。mongos启动后，会从配置服务器中加载元数据。之后mongos开始提供访问服务，并将用户的请求正确路由到对应的分片。在分片集群中可以部署多个mongos以分担客户端请求的压力。

2 版本

服务名称 版本信息
MongoDB “6.0.16”

3 部署目录

名称 目录位置
shard目录 /data/shard/
config目录 /data/config/
mongos目录 /data/mongos/

二、搭建分片集群

在这里插入图片描述
图片来源：

https://s2.51cto.com/images/blog/202405/25000834_6650bb82170d373715.png?x-oss-process=image/watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_30,g_se,x_10,y_10,shadow_20,type_ZmFuZ3poZW5naGVpdGk=/format,webp/resize,m_fixed,w_1184

2.1、使用DNS服务解析IP

在3台虚拟机上执行以下命令，防止ip变动导致连接失败

echo "192.168.6.107  mongo1 mongo01.com mongo02.com" >> /etc/hosts
echo "192.168.6.108 mongo2 mongo03.com mongo04.com" >> /etc/hosts
echo "192.168.6.111 mongo3 mongo05.com mongo06.com" >> /etc/hosts

创建安装目录

[root@postgres /]# mkdir -p /data/shard1/db  /data/shard1/log   /data/config/db  /data/config/log
[root@postgres /]# mkdir -p /data/shard2/db  /data/shard2/log   /data/mongos/
[root@postgres /]# cd data
[root@postgres data]# ls
config  mongos  shard1  shard2

2.2、安装集群

环境准备，请参考之前的文章

2.2.1、在三个节点上执行相同的命令，安装shard1分片

[root@postgres /]# mongod --bind_ip 0.0.0.0 --replSet shard1 --dbpath /data/shard1/db --logpath /data/shard1/log/mongod.log --port 27010 --fork --shardsvr
about to fork child process, waiting until server is ready for connections.
forked process: 4408
child process started successfully, parent exiting

##查看监听端口，判断数据库实例是否启动成功

[root@postgres /]# netstat -tunl
Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address           Foreign Address         State      
tcp        0      0 127.0.0.1:631           0.0.0.0:*               LISTEN     
tcp        0      0 127.0.0.1:25            0.0.0.0:*               LISTEN     
tcp        0      0 0.0.0.0:27010           0.0.0.0:*               LISTEN     
tcp        0      0 127.0.0.1:27017         0.0.0.0:*               LISTEN     
tcp        0      0 0.0.0.0:111             0.0.0.0:*               LISTEN     
tcp        0      0 192.168.122.1:53        0.0.0.0:*               LISTEN     
tcp        0      0 0.0.0.0:22              0.0.0.0:*               LISTEN

登录shard1分片的mongo01节点，初始化主备复制集群

命令：

# 进入mongo shell
mongo mongo01.com:27010
#shard1复制集节点初始化
rs.initiate({
   
    _id: "shard1",
    "members" : [
    {
   
        "_id": 0,
        "host" : "mongo01.com:27010"
    },
    {
   
        "_id": 1,
        "host" : "mongo03.com:27010"
    },
    {
   
        "_id": 2,
        "host" : "mongo05.com:27010"
    }
    ]
})
#查看复制集状态
rs.status()

[root@postgres /]# mongosh mongo01.com:27010
Current Mongosh Log ID: 66a1a8f87459571da0482f8a
Connecting to:          mongodb://mongo01.com:27010/?directConnection=true&appName=mongosh+2.2.12
Using MongoDB:          6.0.16
Using Mongosh:          2.2.12

For mongosh info see: https://docs.mongodb.com/mongodb-shell/

------
   The server generated these startup warnings when booting
   2024-07-25T09:22:13.739+08:00: Access control is not enabled for the database. Read and write access to data and configuration is unrestricted
   2024-07-25T09:22:13.739+08:00: You are running this process as the root user, which is not recommended
   2024-07-25T09:22:13.739+08:00: /sys/kernel/mm/transparent_hugepage/enabled is 'always'. We suggest setting it to 'never' in this binary version
   2024-07-25T09:22:13.739+08:00: /sys/kernel/mm/transparent_hugepage/defrag is 'always'. We suggest setting it to 'never' in this binary version
   2024-07-25T09:22:13.739+08:00: Soft rlimits for open file descriptors too low
------


Deprecation warnings:
  - Using mongosh on the current operating system is deprecated, and support may be removed in a future release.
See https://www.mongodb.com/docs/mongodb-shell/install/#supported-operating-systems for documentation on supported platforms.
test> rs.initiate({
   
    _id: "shard1",
...     _id: "shard1",
...     "members" : [
...     {
   
...         "_id": 0,
...         "host" : "mongo01.com:27010"
    },
...     },
    {
   
...     {
   
...         "_id": 1,
...         "host" : "mongo03.com:27010"
...     },
...     {
   
...         "_id": 2,
...         "host" : "mongo05.com:27010"
...     }
...     ]
... })
{
    ok: 1 }

查看shard1分片的主、备集群状态信息

shard1 [direct: secondary] test> rs.status()
{
   
  set: 'shard1',
  date: ISODate('2024-07-25T01:24:32.227Z'),
  myState: 1,
  term: Long('1'),
  syncSourceHost: '',
  syncSourceId: -1,
  heartbeatIntervalMillis: Long('2000'),
  majorityVoteCount: 2,
  writeMajorityCount: 2,
  votingMembersCount: 3,
  writableVotingMembersCount: 3,
  optimes: {
   
    lastCommittedOpTime: {
    ts: Timestamp({
    t: 1721870665, i: 1 }), t: Long('1') },
    lastCommittedWallTime: ISODate('2024-07-25T01:24:25.038Z'),
    readConcernMajorityOpTime: {
    ts: Timestamp({
    t: 1721870665, i: 1 }), t: Long('1') },
    appliedOpTime: {
    ts: Timestamp({
    t: 1721870665, i: 1 }), t: Long('1') },
    durableOpTime: {
    ts: Timestamp({
    t: 1721870665, i: 1 }), t: Long('1') },
    lastAppliedWallTime: ISODate('2024-07-25T01:24:25.038Z'),
    lastDurableWallTime: ISODate('2024-07-25T01:24:25.038Z')
  },
  lastStableRecoveryTimestamp: Timestamp({
    t: 1721870645, i: 1 }),
  electionCandidateMetrics: {
   
    lastElectionReason: 'electionTimeout',
    lastElectionDate: ISODate('2024-07-25T01:23:24.996Z'),
    electionTerm: Long('1'),
    lastCommittedOpTimeAtElection: {
    ts: Timestamp({
    t: 1721870594, i: 1 }), t: Long('-1') },
    lastSeenOpTimeAtElection: {
    ts: Timestamp({
    t: 1721870594, i: 1 }), t: Long('-1') },
    numVotesNeeded: 2,
    priorityAtElection: 1,
    electionTimeoutMillis: Long('10000'),
    numCatchUpOps: Long('0'),
    newTermStartDate: ISODate('2024-07-25T01:23:25.020Z'),
    wMajorityWriteAvailabilityDate: ISODate('2024-07-25T01:23:26.007Z')
  },
  members: [
    {
   
      _id: 0,
      name: 'mongo01.com:27010',
      health: 1,
      state: 1,
      stateStr: 'PRIMARY',
      uptime: 139,
      optime: {
    ts: Timestamp({
    t: 1721870665, i: 1 }), t: Long('1') },
      optimeDate: ISODate('2024-07-25T01:24:25.000Z'),
      lastAppliedWallTime: ISODate('2024-07-25T01:24:25.038Z'),
      lastDurableWallTime: ISODate('2024-07-25T01:24:25.038Z'),
      syncSourceHost: '',
      syncSourceId: -1,
      infoMessage: '',
      electionTime: Timestamp({
    t: 1721870604, i: 1 }),
      electionDate: ISODate('2024-07-25T01:23:24.000Z'),
      configVersion: 1,
      configTerm: 1,
      self: true,
      lastHeartbeatMessage: ''
    },
    {
   
      _id: 1,
      name: 'mongo03.com:27010',
      health: 1,
      state: 2,
      stateStr: 'SECONDARY',
      uptime: 77,
      optime: {
    ts: Timestamp({
    t: 1721870665, i: 1 }), t: Long('1') },
      optimeDurable: {
    ts: Timestamp({
    t: 1721870665, i: 1 }), t: Long('1') },
      optimeDate: ISODate('2024-07-25T01:24:25.000Z'),
      optimeDurableDate: ISODate('2024-07-25T01:24:25.000Z'),
      lastAppliedWallTime: ISODate('2024-07-25T01:24:25.038Z'),
      lastDurableWallTime: ISODate('2024-07-25T01:24:25.038Z'),
      lastHeartbeat: ISODate('2024-07-25T01:24:31.056Z'),
      lastHeartbeatRecv: ISODate('2024-07-25T01:24:32.057Z'),
      pingMs: Long('0'),
      lastHeartbeatMessage: '',
      syncSourceHost: 'mongo01.com:27010',
      syncSourceId: 0,
      infoMessage: '',
      configVersion: 1,
      configTerm: 1
    },
    {
   
      _id: 2,
      name: 'mongo05.com:27010',
      health: 1,
      state: 2,
      stateStr: 'SECONDARY',
      uptime: 77,
      optime: {
    ts: Timestamp({
    t: 1721870665, i: 1 }), t: Long('1') },
      optimeDurable: {
    ts: Timestamp({
    t: 1721870665, i: 1 }), t: Long('1') },
      optimeDate: ISODate('2024-07-25T01:24:25.000Z'),
      optimeDurableDate: ISODate('2024-07-25T01:24:25.000Z'),
      lastAppliedWallTime: ISODate('2024-07-25T01:24:25.038Z'),
      lastDurableWallTime: ISODate('2024-07-25T01:24:25.038Z'),
      lastHeartbeat: ISODate('2024-07-25T01:24:31.056Z'),
      lastHeartbeatRecv: ISODate('2024-07-25T01:24:32.057Z'),
      pingMs: Long('0'),
      lastHeartbeatMessage: '',
      syncSourceHost: 'mongo01.com:27010',
      syncSourceId: 0,
      infoMessage: '',
      configVersion: 1,
      configTerm: 1
    }
  ],
  ok: 1,
  '$clusterTime': {
   
    clusterTime: Timestamp({
    t: 1721870665, i: 1 }),
    signature: {
   
      hash: Binary.createFromBase64('AAAAAAAAAAAAAAAAAAAAAAAAAAA=', 0),
      keyId: Long('0')
    }
  },
  operationTime: Timestamp({
    t: 1721870665, i: 1 })
}
shard1 [direct: primary] test>

2.2.2、在三个节点上执行相同的命令，安装config主备集群


[root@postgres /]# mongod --bind_ip 0.0.0.0 --replSet config --dbpath /data/config/db \
--logpath /data/config/log/mongod.log --port 27019 --fork \
--configsvr

[root@postgres /]# netstat -tunl
Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address           Foreign Address         State      
tcp        0      0 127.0.0.1:631           0.0.0.0:*               LISTEN     
tcp        0      0 127.0.0.1:25            0.0.0.0:*               LISTEN     
tcp        0      0 0.0.0.0:27010           0.0.0.0:*               LISTEN     
tcp        0      0 127.0.0.1:27017         0.0.0.0:*               LISTEN     
tcp        0      0 0.0.0.0:27019           0.0.0.0:*               LISTEN     
tcp        0      0 0.0.0.0:111             0.0.0.0:*               LISTEN

初始化config主、备集群

命令：

# 进入mongo shell
mongo mongo01.com:27019
#config复制集节点初始化
rs.initiate({
   
    _id: "config",
    "members" : [
    {
   
        "_id": 0,
        "host" : "mongo01.com:27019"
    },
    {
   
        "_id": 1,
        "host" : "mongo03.com:27019"
    },
    {
   
        "_id": 2,
        "host" : "mongo05.com:27019"
    }
    ]
})

[root@postgres data]# mongosh mongo01.com:27019
Current Mongosh Log ID: 66a1bb5ca7a9cd7327482f8a
Connecting to:          mongodb://mongo01.com:27019/?directConnection=true&appName=mongosh+2.2.12
Using MongoDB:          6.0.16
Using Mongosh:          2.2.12

For mongosh info see: https://docs.mongodb.com/mongodb-shell/

------
   The server generated these startup warnings when booting
   2024-07-25T10:39:35.878+08:00: Access control is not enabled for the database. Read and write access to data and configuration is unrestricted
   2024-07-25T10:39:35.878+08:00: You are running this process as the root user, which is not recommended
   2024-07-25T10:39:35.878+08:00: /sys/kernel/mm/transparent_hugepage/enabled is 'always'. We suggest setting it to 'never' in this binary version
   2024-07-25T10:39:35.878+08:00: /sys/kernel/mm/transparent_hugepage/defrag is 'always'. We suggest setting it to 'never' in this binary version
   2024-07-25T10:39:35.878+08:00: Soft rlimits for open file descriptors too low
------


Deprecation warnings:
  - Using mongosh on the current operating system is deprecated, and support may be removed in a future release.
See https://www.mongodb.com/docs/mongodb-shell/install/#supported-operating-systems for documentation on supported platforms.
test> rs.initiate({
   
    _id: "config",
...     _id: "config",
...     "members" : [
...     {
   
...         "_id": 0,
...         "host" : "mongo01.com:27019"
...     },
...     {
   
...         "_id": 1,
...         "host" : "mongo03.com:27019"
...     },
...     {
   
...         "_id": 2,
...         "host" : "mongo05.com:27019"
...     }
...     ]
... })
{
    ok: 1, lastCommittedOpTime: Timestamp({
    t: 1721875301, i: 1 }) }

查看config 集群状态信息

config [direct: other] test> rs.status()
{
   </
最低0.47元/天 解锁文章
东风破137
关注
MongoDB分片集群详解与部署
2301_81446229的博客
06-17 1655
MongoDB的分片集群是一种将数据存储到多个服务器上的技术，每个服务器存储数据的一个子集。通过分片，MongoDB可以将数据分散到多个分片（Shard）上，每个分片都是一个独立的MongoDB实例，可以存储数据的一部分。分片集群通过路由进程（mongos）来管理数据路由，将客户端的请求路由到正确的分片上。MongoDB的分片集群提供了一种可扩展的解决方案，可以支持大规模数据集的高效存储和查询。通过合理的部署和配置，我们可以实现高性能、高可用性和容错性的数据库系统。
MongoDB分片集群部署
Meguling的博客
04-23 1127
三台设备都需要部署shard1形成副本集，最后部署完成的结果是：192.168.36.137为主(PRIMARY)，138为从(SECONDARY)，139为仲裁(ARBITER)，端口都为22001。三台设备都需要部署shard2形成副本集，最后部署完成的结果是：192.168.36.137为仲裁(ARBITER)，138为主(PRIMARY)，139为从(SECONDARY)，端口都为22002。三台设备同样也都需要部署route，端口都为20000。所有设备都要进行如下操作。
【MongoDB篇】MongoDB的分片操作！
最新发布
qq_56158663的博客
05-07 1370
MongoDB的分片操作，通俗易懂！🎉
【MongoDB】五、MongoDB分片集群的部署
慢热型网友的博客
06-21 5569
2、执行“vi”命令，在配置文件mongodb_shard1.conf mongodb_shard2.conf mongodb_shard3.conf中添加分片服务器1的相关参数（服务器zrz01）4、执行“vi”命令，在配置文件mongodb_shard1.conf mongodb_shard2.conf mongodb_shard3.conf中添加分片服务器1的相关参数（服务器zrz02）2、在服务器nosql01的配置服务器、分片服务器以及路由服务器的日志目录下，创建对应的日志管理文件。
mongoDB分片集群部署
weixin_39934651的博客
02-22 1874
一、MongoDB 背景 MongoDB 是一款功能完善的分布式文档数据库，是一款非常出名的 NoSQL 数据库。当前国内使用 Mongodb 的大型实践越来越多，MongoDB 为我司提供了重要的数据库存储服务，支撑着每天近千万级 QPS 峰值读写，数万亿级数据量存储服务。 MongoDB 在高性能、动态扩缩容、高可用、易部署、易使用、海量数据存储等方面拥有很大优势。近些年，MongoDB 在 DB-Engines 流行度排行榜稳居榜单 Top5 ，且历年得分是持续增长的，具体如下图所示： DB-En
MongoDB 分片集群部署(无副本)
我希望你能在这找到对你有帮助的东西，这可不仅仅是一个博客呢~
07-31 1278
分片是每个节点存储数据的不同片段，复制集是每个节点存储数据的相同副本。mongos：接收请求和路由请求、config servers：记录所有节点信息、shard：分片集存储数据
部署mongodb分片集群
m0_56847107的博客
01-02 424
手把手教配置mongodb分片集群
MongoDB分片集群部署详解
09-09
总的来说，MongoDB分片集群部署是一项涉及多个步骤和组件的工作，需要深入了解MongoDB的特性和最佳实践。通过正确配置和管理，分片集群能够提供强大的数据处理能力，支持大规模的数据存储和查询需求。
Mongodb集群部署文档
技术成就人生
01-06 407
Mongodb集群搭建 背景 创建高可用、高性能、可扩展、易伸缩的Mongodb集群需创建具有3个Shard（1 Primary，1 Secondary，1 Arbiter），3个Config Servers，3个Router。 在单台服务上搭建，各个端口都不相同： Shard1 Shard2 Shard3 ...
MongoDB集群部署
u014650965的博客
02-04 2079
部署3分片的Mongo集群，下面是架构图，实际环境每个分片最好不要放在同一台机器，不同分片的主从也尽量分散，否则数据库压力大的时候磁盘会成为瓶颈，下面的安装示例仅为学习交流。
mongodb分片集群部署
weixin_42801059的博客
05-04 469
mongodb分片集群部署及验证
mongodb 分片集群部署
liuyan
08-27 1504
连接任意一台非“arbiterOnly: true”节点shard1，192.168.221.173、192.168.221.174、192.168.221.175分别替换为3台机器的IP地址（建议节点1执行）连接任意一台非“arbiterOnly: true”节点shard2，192.168.221.173、192.168.221.174、192.168.221.175分别替换为3台机器的IP地址（建议节点1执行）3台服务器分别添加配置文件。3台服务器分别添加配置文件。3台服务器分别添加配置文件。
mongodb部署分片集群
weixin_48114253的博客
08-12 418
服务器名称 IP地址 配置服务器(Config Server)端口 分片服务器1(Shard Server 1 分片服务器2(Shard Server 2) 分片服务器3(Shard Server 3) 功能 aostardb01 192.168.22.22 27027（Primary） 27017（Primary） 27018（Arbiter） 27019（Secondary） 配置服务器和分片服务器 aostardb02 192.168.22.23 27027（Secondary） 27017（Seco
Mongodb分片集群的部署及操作
Jayden的博客
02-16 2941
在Linux上进行mongodb分片集群的部署并进行一些常规性测试操作
Mongodb集群部署
weixin_34303897的博客
05-11 245
数据副本 MongoDB中的一组副本是一群mongod进程，这些进程维护同样的数据集。副本集提供了冗余和高可用性，是生产环境部署的基础。 数据冗余和可用性 通过在不同的服务器上存储相同的数据，副本机制保证了一定程度的容错，即在一个数据库挂掉后，数据服务仍然可用。 在某些情况下，副本可以提升数据的读性能，因为用户可以从不同的数据库读取数据。在不同的数据中心维护数据的拷贝，能够提高分布式应用程序的可...
MongoDB分片部署
2301_82066425的博客
06-11 788
重新打开mongodb服务，即可像原来一样使用，但是数据存储方式和原来已经不一样了，变成了分布式的分片存储。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值