MongoDB集群搭建

最新推荐文章于 2025-04-27 01:49:24 发布
最新推荐文章于 2025-04-27 01:49:24 发布
阅读量1.6k 收藏 18
点赞数 30
文章标签： mongodb 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/dopa66666/article/details/136296420
版权
本文详细介绍了如何在MongoDB中实现数据分片以处理高数据量和吞吐量的应用，包括垂直扩展和水平扩展策略，以及集群的搭建步骤，包括配置服务、路由服务、分片服务和副本集的创建和配置过程。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

分片集群

高数据量和吞吐量的数据库应用会对单机的性能造成较大压力,大的查询量会将单机的CPU耗尽,大的数据量对单机的存储压力较大,最终会耗尽系统的内存而将压力转移到磁盘IO上。

　　为了解决这些问题,有两个基本的方法: 垂直扩展和水平扩展。

　　　　垂直扩展：增加更多的CPU和存储资源来扩展容量。

　　　　水平扩展：将数据集分布在多个服务器上。水平扩展即分片。

原理介绍

分片（sharding）是MongoDB用来将大型集合分割到不同服务器（或者说一个集群）上所采用的方法。

例如，如果数据库1tb的数据集，并有4个分片，然后每个分片可能仅持有256 GB的数据。如果有40个分片，那么每个切分可能只有25GB的数据。

MongoDB中数据的分片是以集合为基本单位的，集合中的数据通过片键（Shard key）被分成多部分。其实片键就是在集合中选一个键，用该键的值作为数据拆分的依据。

一般片键采用范围或哈希的方式进行分片。

集群搭建

环境准备

先创建一个如下的目录结果:

  • 在root目录下创建mongodb目录。内部依次创建文件夹（node1，node2，node3）。

  • 在node1文件夹下创建：config-server1，mongos1，shard11，shard21文件夹

    • config-server1目录下创建backup，config，db文件夹

    • mongos1，shard11，shard21同上创建

  • 在node2和node3文件夹下创建

配置服务
创建容器

进入node1，node2，node3的config-serverx目录。执行docker命令创建并启动docker容器

配置服务1

#进入目录
cd /root/mongodb/node1/config-server1
#创建并启动容器。
docker run --restart=always --privileged=true -p 10021:27019 -v $PWD/config:/etc/mongod -v $PWD/db:/data/db -d --name pro-file-server-config1 mongo:4.0.0 -f /etc/mongod/config.conf --configsvr --replSet "rs-file-server-config-server" --bind_ip_all

配置服务2

#进入目录
cd /root/mongodb/node2/config-server2
#创建并启动容器。
docker run --restart=always --privileged=true -p 10022:27019 -v $PWD/config:/etc/mongod -v $PWD/db:/data/db -d --name pro-file-server-config2 mongo:4.0.0 -f /etc/mongod/config.conf --configsvr --replSet "rs-file-server-config-server" --bind_ip_all

配置服务2

#进入目录
cd /root/mongodb/node3/config-server3
#创建并启动容器。
docker run --restart=always --privileged=true -p 10023:27019 -v $PWD/config:/etc/mongod -v $PWD/db:/data/db -d --name pro-file-server-config3 mongo:4.0.0 -f /etc/mongod/config.conf --configsvr --replSet "rs-file-server-config-server" --bind_ip_all`
配置Mongo

将3个配置服务关联到一起

通过docker进入任意一台config-server配置三台服务器之间的联系

#进入pro-file-server-config1配置服务器
docker exec -it pro-file-server-config1 /bin/bash
#连接mongo 配置服务器暴露的默认端口为27019
mongo -port 27019
#执行配置内容
rs.initiate({
_id: "rs-file-server-config-server",
configsvr: true,
members: [
{ _id : 0,host : "192.168.136.163:10021" },
{ _id : 1,host : "192.168.136.163:10022" },
{ _id : 2, host : "192.168.136.163:10023" }
]
});
#查看状态
rs.status()
路由服务
创建容器

mongos1

#进入目录
cd /root/mongodb/node1/mongos1
#创建并启动容器。
docker run --restart=always --privileged=true -p 10011:27017 -v $PWD/config:/etc/mongod -v $PWD/db:/data/db -d --entrypoint mongos --name pro-file-server-mongos1 mongo:4.0.0 -f /etc/mongod/config.conf --configdb rs-file-server-config-server/192.168.50.100:10021,192.168.50.100:10022,192.168.50.100:10023 --bind_ip_all

mongos2

#进入目录
cd /root/mongodb/node2/mongos2
#创建并启动容器。
docker run --restart=always --privileged=true -p 10012:27017 -v $PWD/config:/etc/mongod -v $PWD/db:/data/db -d --entrypoint mongos --name pro-file-server-mongos2 mongo:4.0.0 -f /etc/mongod/config.conf --configdb rs-file-server-config-server/192.168.50.100:10021,192.168.50.100:10022,192.168.50.100:10023 --bind_ip_all

mongos3

#进入目录
cd /root/mongodb/node3/mongos3
#创建并启动容器。
docker run --restart=always --privileged=true -p 10013:27017 -v $PWD/config:/etc/mongod -v $PWD/db:/data/db -d --entrypoint mongos --name pro-file-server-mongos3 mongo:4.0.0 -f /etc/mongod/config.conf --configdb rs-file-server-config-server/192.168.50.100:10021,192.168.50.100:10022,192.168.50.100:10023 --bind_ip_all
配置Mongo

通过docker进入任意一台mongos配置三台服务器之间的联系

#进入pro-file-server-mongos1服务器
docker exec -it pro-file-server-mongos1 /bin/bash
#连接mongo
mongo -port 27018
#执行配置内容
sh.addShard("rs-file-server-shard1-server/192.168.136.163:10031,192.168.136.163:10032,192.168.136.163:10033")
sh.addShard("rs-file-server-shard2-server192.168.136.163:10041,192.168.136.163:10042,192.168.136.163:10043")
分片服务
创建容器

分片服务share11

cd /root/mongodb/node1/shard21
docker run --restart=always --privileged=true -p 10041:27018 -v $PWD/config:/etc/mongod -v $PWD/backup:/data/backup -v $PWD/db:/data/db -d --name pro-file-server-shard21 mongo:4.0.0 -f /etc/mongod/config.conf --shardsvr --replSet "rs-file-server-shard2-server" --bind_ip_all

分片服务share12

cd /root/mongodb/node2/shard22
docker run --restart=always --privileged=true -p 10042:27018 -v $PWD/config:/etc/mongod -v $PWD/backup:/data/backup -v $PWD/db:/data/db -d --name pro-file-server-shard22 mongo:4.0.0 -f /etc/mongod/config.conf --shardsvr --replSet "rs-file-server-shard2-server" --bind_ip_all

分片服务share13

cd /root/mongodb/node3/shard23
docker run --restart=always --privileged=true -p 10043:27018 -v $PWD/config:/etc/mongod -v $PWD/backup:/data/backup -v $PWD/db:/data/db -d --name pro-file-server-shard23 mongo:4.0.0 -f /etc/mongod/config.conf --shardsvr --replSet "rs-file-server-shard2-server" --bind_ip_all
配置Mongo

通过docker进入任意一台share配置三台服务器之间的联系

#进入pro-file-server-shard21服务器
docker exec -it pro-file-server-shard21 /bin/bash
#连接mongo
mongo -port 27018
#执行配置内容
`rs.initiate({
_id: "rs-file-server-shard2-server",
members: [
{ _id : 0, host : "192.168.136.163:10041" },
{ _id : 1, host : "192.168.136.163:10042" },
{ _id : 2, host : "192.168.136.163:10043" }
]
});`
#查看状态
rs.status()
分片配置
#mongodb客户端连接
mongo 192.168.136.163:10011

#创建分片数据库test
sh.enableSharding("test")

#将collection加入分片并设置分片字段
sh.shardCollection("test.user", {"_id": "hashed" })

服务器说明

路由服务

IP端口
192.168.136.16310011
192.168.136.16310012
192.168.136.16310013

配置服务

IP端口
192.168.136.16310021
192.168.136.16310022
192.168.136.16310023

分片服务

分片服务01分片服务02
192.168.136.163:10031192.168.136.163:10041
192.168.136.163:10032192.168.136.163:10042
192.168.136.163:10033192.168.136.163:10043

副本集群

对于中小型项目，使用副本集群就够了。

一个主，两个从库组成，主库宕机时，这两个从库都可以被选为主库。

当主库宕机后,两个从库都会进行竞选，其中一个变为主库，当原主库恢复后，作为从库加入当前的复制集群即可。

原理解释

Master:代表主节点，主节点提供所有数据的CRUD服务

Backup:代表从节点，从节点不提供任何服务

Arbitration:代表仲裁节点，仲裁节点不存储任何数据，其主要作用就是当主节点挂掉以后，把那个备份节点提升为一个主节点。

集群搭建

创建容器

docker run -di --name=master_mongo  -p 27017:27017 mongo:4.0.3  --replSet mongo_clus 
docker run -di --name=backup_mongo1 -p 27018:27017 mongo:4.0.3  --replSet mongo_clus 
docker run -di --name=backup_mongo2 -p 27019:27017 mongo:4.0.3  --replSet mongo_clus

设置副本集名称，也就是设置集群名称，必须要设置，否则没法构建集群

配置

进入master_mongo容器中

docker exec  -it master_mongo /bin/bash

登录Mongo

mongo -port 27017

创建集群

cfg={
  "_id":"mongo_clus",
  members:[{
      _id:0,
      host:"192.168.136.161:27017",
      priority:2
  },{
      _id:1,
      host:"192.168.136.161:27018",
      priority:1
  },{
      _id:2,
      host:"192.168.136.161:27019",
      priority:2
  }]
}
rs.initiate(cfg)

注意修改ip地址

Mongodb集群搭建的三种方式
2401_83412285的博客
04-09 821
我们总是喜欢瞻仰大厂的大神们，但实际上大神也不过凡人，与菜鸟程序员相比，也就多花了几分心思，如果你再不努力，差距也只会越来越大。实际上，作为程序员，丰富自己的知识储备，提升自己的知识深度和广度是很有必要的。
mongodb分片集群搭建(6.0.10版)
weixin_45928542的博客
10-07 802
mongodb分片集群搭建最新版（6.0.10）
Mongodb集群搭建
失之东隅的博客
02-10 4764
mongodb集群搭建...
【超详细】手把手教你搭建MongoDB集群搭建
热门推荐
博学谷狂野架构师的博客
07-14 1万+
​ 为解决mongodb在replica set每个从节点上面的数据库均是对数据库的全量拷贝，从节点压力在高并发大数据量的场景下存在很大挑战，同时考虑到后期mongodb集群的在数据压力巨大时的扩展性，应对海量数据引出了分片机制。​ 分片是将数据库进行拆分，将其分散在不同的机器上的过程，无需功能强大的服务器就可以存储更多的数据，处理更大的负载，在总数据中，将集合切成小块，将这些块分散到若干片中，每个片只负载总数据的一部分，通过一个知道数据与分片对应关系的组件mongos的路由进程进行操作。​ 数据库集
MongoDB复制集搭建
最新发布
gjx18084061690的博客
04-27 396
端口号监听netstat -tunlp | grep 27017。连接后使用use admin切换admin数据库，进行初始化。2.2mongo shell里面去读取数据。2.1 连接从节点数据库。
手把手教你搭建MongoDB分片式部署集群+实战
Executing_的博客
11-17 7275
MongoDB分片式集群部署实战，构建一个MongoDB的分片集群，需要三个重要组件，分别是分片服务器（Shard Server）、配置服务器（Config Server）、路由服务器（Router Server）。
MongoDB 简单集群搭建
Orange_air的博客
10-18 2022
mongoDB简单分片集群搭建整理
mongodb集群搭建
08-20
### MongoDB集群搭建详解 #### 一、MongoDB基础概念与术语对照 在深入了解MongoDB集群搭建之前，我们先简要回顾一下MongoDB的基本概念及其与传统关系型数据库的对应关系。 - **Database（数据库）**：MongoDB中的...
mongodb集群搭建.pdf
07-09
### MongoDB集群搭建详解 #### 一、MongoDB基础概念与术语对比 在深入了解MongoDB集群搭建之前，我们先从MongoDB的基本概念入手，以便更好地理解其工作原理。 **1. 关系型数据库术语与MongoDB术语对比** - **...
MongoDB集群搭建-最简单
shiguang521314的博客
07-02 1947
MongoDB分片（Sharding）是一种水平扩展数据库的方法，它允许将数据分散存储在多个服务器上，从而提高数据库的存储容量和处理能力。分片是MongoDB为了应对大数据量和高吞吐量需求而设计的一种分布式架构。一、分片概念1.分片键（Shard Key）：MongoDB使用分片键来决定数据如何分布在不同的分片上。分片键可以是文档中的一个字段或字段组合，MongoDB会根据分片键的值将数据均匀地分配到各个分片中。2.分片（Shard）：分片是MongoDB集群中的一个组成部分，它是一个独立的MongoDB实
MongoDB集群分片安装部署手册
OpsEye的博客
11-29 2461
按照先后顺序来处理关闭，mongos>config>shard3>shard2>shard1。启动顺序：config>shadr1>shadr2>shadr3>mongos。等十几分钟后，数据会均匀分配到其他分片。只需要在一台主机上执行。只需要在一台主机上执行。只需要在一台主机上执行。只需要在一台主机上执行。只需要在一台主机上执行。只需要在一台主机上执行。
mongodb复制集集群部署、测试、选举原理
youcan_doit的博客
07-04 1943
mongodb复制集集群部署、测试、选举原理
【MongoDB】五、MongoDB分片集群的部署
慢热型网友的博客
06-21 5561
2、执行“vi”命令，在配置文件mongodb_shard1.conf mongodb_shard2.conf mongodb_shard3.conf中添加分片服务器1的相关参数（服务器zrz01）4、执行“vi”命令，在配置文件mongodb_shard1.conf mongodb_shard2.conf mongodb_shard3.conf中添加分片服务器1的相关参数（服务器zrz02）2、在服务器nosql01的配置服务器、分片服务器以及路由服务器的日志目录下，创建对应的日志管理文件。
MongoDB集群搭建（三节点副本集）
qq_52302132的博客
01-23 2313
下载地址：https://www.mongodb.com/try/download/community。因为Mongodb6.0及以上的版本没有mongo命令，所有无法使用mongo命令连接数据库。版本根据需求选择，Mongodb6.0及以上的版本没有mongo命令。想在命令行连接数据库，需要给三台服务器安装MongoDB shell。返回oplog 大小、保留时长、 起始时间等信息。SECONDARY节点1。SECONDARY节点2。SECONDARY节点1。SECONDARY节点2。
mongodb 分片集群部署
liuyan
08-27 1503
连接任意一台非“arbiterOnly: true”节点shard1，192.168.221.173、192.168.221.174、192.168.221.175分别替换为3台机器的IP地址（建议节点1执行）连接任意一台非“arbiterOnly: true”节点shard2，192.168.221.173、192.168.221.174、192.168.221.175分别替换为3台机器的IP地址（建议节点1执行）3台服务器分别添加配置文件。3台服务器分别添加配置文件。3台服务器分别添加配置文件。
MongoDB分片集群搭建
Logan
11-22 1363
mongo分片集群搭建
MongoDB集群搭建步骤与配置详解
"MongoDB集群搭建过程的详细步骤和配置指南" MongoDB集群的构建是一个关键的任务，它涉及多个组件的设置，包括复制集、配置服务器和路由服务器，以实现高可用性和水平扩展。以下是根据提供的信息，对MongoDB集群...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值