Docker快速部署Mongodb主副本集实践

原创于 2025-09-04 08:40:38 发布 · 1.2k 阅读

12 ·

CC 4.0 BY-SA版权

文章标签：

#docker #mongodb #容器

数据库专栏收录该内容

3 篇文章

订阅专栏

系列文章目录

第一章 Mongodb的主副本集

前言

公司有项目需要满足数据内容不固定，Mongodb更适合此业务，但是不支持事务，于是了解到主副本集可以满足。

一、Mongodb基础介绍

数据库（Database）

Mongodb 中的数据库是一组集合（Collection）的容器，每个数据库在文件系统中有独立的文件存储。数据库名称区分大小写，通常用于逻辑隔离不同应用或模块的数据。

集合（Collection）

集合是 Mongodb 中存储文档（Document）的容器，类似于关系型数据库中的表。集合不需要预先定义结构，可以动态存储不同格式的文档。集合名称同样区分大小写。

文档（Document）

文档是 Mongodb 中的数据基本单元，采用 BSON（Binary JSON）格式存储。文档由键值对组成，键是字符串，值可以是多种数据类型（如字符串、数字、数组、嵌套文档等）。例如：

{
  "name": "Alice",
  "age": 30,
  "address": {
    "city": "New York",
    "zip": "10001"
  }
}

BSON（Binary JSON）

BSON 是 JSON 的二进制编码格式，扩展了 JSON 的数据类型（如日期、二进制数据等）。Mongodb 使用 BSON 在内部存储和传输数据，支持高效查询和索引。

_id（主键）

每个文档必须包含一个唯一的 _id 字段作为主键。如果插入文档时未指定 _id，Mongodb 会自动生成一个 ObjectId 类型的值。_id 字段默认建立索引。

索引（Index）

索引用于加速查询性能，类似于关系型数据库的索引。Mongodb 支持单字段索引、复合索引、多键索引（数组字段）、全文索引等。例如创建索引的命令：

db.collection.createIndex({ "name": 1 }) // 1表示升序，-1表示降序

分片（Sharding）

分片是 Mongodb 的横向扩展机制，将数据分散到多个分片（Shard）上。每个分片是独立的数据库实例，共同组成一个逻辑数据库。分片通过分片键（Shard Key）路由数据。

副本集（Replica Set）

副本集是一组维护相同数据的 Mongodb 实例，提供高可用性。包含一个主节点（Primary）和多个从节点（Secondary）。主节点处理写操作，从节点同步数据并支持读操作。

聚合管道（Aggregation Pipeline）

聚合管道是数据处理框架，通过多个阶段（Stage）对文档进行转换和计算。每个阶段处理输入文档并输出结果到下一阶段。常见阶段包括 $match、$group、$sort 等。

CRUD 操作

CRUD 指 Mongodb 的基本数据操作：

Create：insertOne()、insertMany()
Read：find()、findOne()
Update：updateOne()、updateMany()
Delete：deleteOne()、deleteMany()

写关注（Write Concern）

写关注定义写操作的确认级别，控制数据持久化的可靠性。例如：

db.collection.insertOne(
  { "key": "value" },
  { writeConcern: { w: "majority", j: true } } // w: 写入节点数，j: 日志持久化
)

读偏好（Read Preference）

读偏好指定查询请求的路由规则，允许从主节点或从节点读取数据。选项包括 primary、secondary、nearest 等，适用于读写分离场景。

二、Mongodb事务

事务的基本概念

MongoDB 从 4.0 版本开始支持多文档事务，适用于副本集；从 4.2 版本开始支持分片集群的事务。事务提供 ACID 特性，确保数据操作的原子性、一致性、隔离性和持久性。

启用事务的前提条件

MongoDB 事务需要运行在副本集或分片集群上，单机模式不支持事务。确保 MongoDB 实例已正确配置为副本集或分片集群。

事务的使用方法

在 MongoDB 中使用事务需要通过会话（Session）来管理。以下是一个基本的事务操作示例：

const session = db.getMongo().startSession();
session.startTransaction({
    readConcern: { level: "snapshot" },
    writeConcern: { w: "majority" }
});

try {
    const collection1 = session.getDatabase("db1").collection1;
    const collection2 = session.getDatabase("db2").collection2;

    collection1.insertOne({ name: "Alice" }, { session });
    collection2.updateOne({ name: "Bob" }, { $set: { age: 30 } }, { session });

    session.commitTransaction();
} catch (error) {
    session.abortTransaction();
    throw error;
} finally {
    session.endSession();
}

事务的隔离级别

MongoDB 提供 snapshot 隔离级别，确保事务内读取的数据来自同一快照。可以通过 readConcern 设置：

readConcern: { level: "snapshot" }

事务的写关注

事务中的写操作可以通过 writeConcern 指定确认级别，通常设置为 majority 以确保数据持久性：

writeConcern: { w: "majority" }

事务的注意事项

事务中的操作必须显式指定会话（Session），否则操作不会包含在事务中。事务的执行时间不宜过长，避免锁竞争和性能问题。事务支持的文档操作包括插入、更新、删除和查询。

事务的性能优化

为了减少事务对性能的影响，尽量缩小事务范围，减少事务内的操作数量。避免在事务中执行耗时操作，如大规模数据扫描。合理设置事务超时时间，防止长时间占用资源。

事务的错误处理

事务执行过程中如果发生错误，必须捕获异常并显式调用 abortTransaction 回滚事务。确保事务结束后调用 endSession 释放会话资源。

事务的限制

MongoDB 事务不支持某些操作，如创建或删除集合、创建或删除索引。事务内的写操作不能影响分片键的值。单个事务的文档修改量默认限制为 16MB，超过会导致错误。

三、Docker部署MongoDB主副本集

环境准备

linux服务器，内存不少于8G，cpu至少I5，磁盘500G起步，这里我用的是CentOS7,架构是x86_64,通过如下命令确认


[root@host ~]# cat /etc/os-release
NAME="CentOS Linux"
VERSION="7 (Core)"
ID="centos"
ID_LIKE="rhel fedora"
VERSION_ID="7"
PRETTY_NAME="CentOS Linux 7 (Core)"
ANSI_COLOR="0;31"
CPE_NAME="cpe:/o:centos:centos:7"
HOME_URL="https://www.centos.org/"
BUG_REPORT_URL="https://bugs.centos.org/"

CENTOS_MANTISBT_PROJECT="CentOS-7"
CENTOS_MANTISBT_PROJECT_VERSION="7"
REDHAT_SUPPORT_PRODUCT="centos"
REDHAT_SUPPORT_PRODUCT_VERSION="7"

[root@host ~]# lscpu
Architecture:          x86_64
CPU op-mode(s):        32-bit, 64-bit
Byte Order:            Little Endian
CPU(s):                16
On-line CPU(s) list:   0-15
Thread(s) per core:    2
Core(s) per socket:    8
座：                 1
NUMA 节点：         1
厂商 ID：           GenuineIntel
CPU 系列：          6
型号：              165
型号名称：        Intel(R) Core(TM) i7-10700 CPU @ 2.90GHz
步进：              5
CPU MHz：             800.048
CPU max MHz:           4800.0000
CPU min MHz:           800.0000
BogoMIPS：            5800.00
虚拟化：           VT-x
L1d 缓存：          32K
L1i 缓存：          32K
L2 缓存：           256K
L3 缓存：           16384K
NUMA 节点0 CPU：    0-15

Docker安装

看欧拉系统部署Docker实践指南, 参考前面部分就行。

具体安装

镜像用的是mongo最新版，可以直接拉取，也可以docker run时拉取
这里配置3个，做1主两从
新建目录，用于挂载存放配置文件

mkdir -p /home/mongodb  && chown -R 200 /home/mongodb

确定主端口：27017，2个从分别是27018、27019
命令列表


#自定义网络
docker network create --subnet=172.18.0.0/16 my-network
# 查看已存在网络
docker network ls
# mongo容器认证启动方式
docker run --restart=always --privileged -p 27017:27017 --name mongodbMaster --network my-network --ip 172.18.0.1 -v /home/mongo/mongoMaster/config:/data/configdb -v /home/mongo/mongoMaster/db:/data/db -v /home/mongo/mongoMaster/logs:/data/log -d mongo --replSet rs
docker run --restart=always --privileged -p 27018:27017 --name mongodbSlave1 --network my-network --ip 172.18.0.2 -v /home/mongo/mongoSlave1/config:/data/configdb -v /home/mongo/mongoSlave1/db:/data/db -v /home/mongo/mongoSlave1/logs:/data/log -d mongo --replSet rs
docker run --restart=always --privileged -p 27019:27017 --name mongodbSlave2 --network my-network --ip 172.18.0.3 -v /home/mongo/mongoSlave2/config:/data/configdb -v /home/mongo/mongoSlave2/db:/data/db -v /home/mongo/mongoSlave2/logs:/data/log -d mongo --replSet rs

执行docker images | grep mongo, 发现3个容器已经创建并运行
进入容器，创建账号、授权

docker exec -it mongodbMaster /bin/bash
进入MongoDB交互式命令行并切换到admin数据库
mongo
use admin
//管理员 
db.createUser({ user: 'rwuser', pwd: 'xxxxx', roles: [ { role: "userAdminAnyDatabase", db: "admin" } ] });
db.auth('rwuser', 'xxxxx') //返回1表示认证成功
db.getCollectionNames() //所有创建的用户都会存储在system.users集合中
//factory-dev
use factory-dev //切换到目标数据库
db.createUser({ user: 'test', pwd: 'xxxxx', roles: [ { role: "readWrite", db: "db1" } ] });
db.auth('test', 'xxxxx') //返回1表示认证成功

# 查看主节点，找到members[].stateStr：主节点应为 "PRIMARY"，说明ok。
rs:PRIMARY> rs.status()
{
        "set" : "rs",
        "date" : ISODate("2025-09-04T00:32:31.156Z"),
        "myState" : 1,
        "term" : NumberLong(335),
        "syncSourceHost" : "",
        "syncSourceId" : -1,
        "heartbeatIntervalMillis" : NumberLong(2000),
        "majorityVoteCount" : 2,
        "writeMajorityCount" : 2,
        "votingMembersCount" : 3,
        "writableVotingMembersCount" : 3,
        "optimes" : {
                "lastCommittedOpTime" : {
                        "ts" : Timestamp(1756945945, 1),
                        "t" : NumberLong(335)
                },
                "lastCommittedWallTime" : ISODate("2025-09-04T00:32:25.880Z"),
                "readConcernMajorityOpTime" : {
                        "ts" : Timestamp(1756945945, 1),
                        "t" : NumberLong(335)
                },
                "appliedOpTime" : {
                        "ts" : Timestamp(1756945945, 1),
                        "t" : NumberLong(335)
                },
                "durableOpTime" : {
                        "ts" : Timestamp(1756945945, 1),
                        "t" : NumberLong(335)
                },
                "lastAppliedWallTime" : ISODate("2025-09-04T00:32:25.880Z"),
                "lastDurableWallTime" : ISODate("2025-09-04T00:32:25.880Z")
        },
        "lastStableRecoveryTimestamp" : Timestamp(1756945915, 1),
        "electionCandidateMetrics" : {
                "lastElectionReason" : "electionTimeout",
                "lastElectionDate" : ISODate("2025-09-03T06:59:13.712Z"),
                "electionTerm" : NumberLong(335),
                "lastCommittedOpTimeAtElection" : {
                        "ts" : Timestamp(1756882537, 1),
                        "t" : NumberLong(334)
                },
                "lastSeenOpTimeAtElection" : {
                        "ts" : Timestamp(1756882547, 1),
                        "t" : NumberLong(334)
                },
                "numVotesNeeded" : 2,
                "priorityAtElection" : 1,
                "electionTimeoutMillis" : NumberLong(10000),
                "numCatchUpOps" : NumberLong(0),
                "newTermStartDate" : ISODate("2025-09-03T06:59:13.799Z"),
                "wMajorityWriteAvailabilityDate" : ISODate("2025-09-03T06:59:14.450Z")
        },
        "electionParticipantMetrics" : {
                "votedForCandidate" : true,
                "electionTerm" : NumberLong(333),
                "lastVoteDate" : ISODate("2025-09-03T06:54:18.247Z"),
                "electionCandidateMemberId" : 2,
                "voteReason" : "",
                "lastAppliedOpTimeAtElection" : {
                        "ts" : Timestamp(1756882339, 1),
                        "t" : NumberLong(331)
                },
                "maxAppliedOpTimeInSet" : {
                        "ts" : Timestamp(1756882339, 1),
                        "t" : NumberLong(331)
                },
                "priorityAtElection" : 1
        },
        "members" : [
                {
                        "_id" : 0,
                        "name" : "f1737b1cbbc5:27017",
                        "health" : 1,
                        "state" : 1,
                        "stateStr" : "PRIMARY",
                        "uptime" : 63539,
                        "optime" : {
                                "ts" : Timestamp(1756945945, 1),
                                "t" : NumberLong(335)
                        },
                        "optimeDate" : ISODate("2025-09-04T00:32:25Z"),
                        "lastAppliedWallTime" : ISODate("2025-09-04T00:32:25.880Z"),
                        "lastDurableWallTime" : ISODate("2025-09-04T00:32:25.880Z"),
                        "syncSourceHost" : "",
                        "syncSourceId" : -1,
                        "infoMessage" : "",
                        "electionTime" : Timestamp(1756882753, 1),
                        "electionDate" : ISODate("2025-09-03T06:59:13Z"),
                        "configVersion" : 5,
                        "configTerm" : 335,
                        "self" : true,
                        "lastHeartbeatMessage" : ""
                },
                {
                        "_id" : 1,
                        "name" : "172.18.0.1:27017",
                        "health" : 1,
                        "state" : 2,
                        "stateStr" : "SECONDARY",
                        "uptime" : 63207,
                        "optime" : {
                                "ts" : Timestamp(1756945945, 1),
                                "t" : NumberLong(335)
                        },
                        "optimeDurable" : {
                                "ts" : Timestamp(1756945945, 1),
                                "t" : NumberLong(335)
                        },
                        "optimeDate" : ISODate("2025-09-04T00:32:25Z"),
                        "optimeDurableDate" : ISODate("2025-09-04T00:32:25Z"),
                        "lastAppliedWallTime" : ISODate("2025-09-04T00:32:25.880Z"),
                        "lastDurableWallTime" : ISODate("2025-09-04T00:32:25.880Z"),
                        "lastHeartbeat" : ISODate("2025-09-04T00:32:31.006Z"),
                        "lastHeartbeatRecv" : ISODate("2025-09-04T00:32:31.009Z"),
                        "pingMs" : NumberLong(0),
                        "lastHeartbeatMessage" : "",
                        "syncSourceHost" : "f1737b1cbbc5:27017",
                        "syncSourceId" : 0,
                        "infoMessage" : "",
                        "configVersion" : 5,
                        "configTerm" : 335
                },
                {
                        "_id" : 2,
                        "name" : "172.18.0.2:27017",
                        "health" : 1,
                        "state" : 2,
                        "stateStr" : "SECONDARY",
                        "uptime" : 63206,
                        "optime" : {
                                "ts" : Timestamp(1756945945, 1),
                                "t" : NumberLong(335)
                        },
                        "optimeDurable" : {
                                "ts" : Timestamp(1756945945, 1),
                                "t" : NumberLong(335)
                        },
                        "optimeDate" : ISODate("2025-09-04T00:32:25Z"),
                        "optimeDurableDate" : ISODate("2025-09-04T00:32:25Z"),
                        "lastAppliedWallTime" : ISODate("2025-09-04T00:32:25.880Z"),
                        "lastDurableWallTime" : ISODate("2025-09-04T00:32:25.880Z"),
                        "lastHeartbeat" : ISODate("2025-09-04T00:32:31.009Z"),
                        "lastHeartbeatRecv" : ISODate("2025-09-04T00:32:31.006Z"),
                        "pingMs" : NumberLong(0),
                        "lastHeartbeatMessage" : "",
                        "syncSourceHost" : "f1737b1cbbc5:27017",
                        "syncSourceId" : 0,
                        "infoMessage" : "",
                        "configVersion" : 5,
                        "configTerm" : 335
                }
        ],
        "ok" : 1,
        "$clusterTime" : {
                "clusterTime" : Timestamp(1756945945, 1),
                "signature" : {
                        "hash" : BinData(0,"AAAAAAAAAAAAAAAAAAAAAAAAAAA="),
                        "keyId" : NumberLong(0)
                }
        },
        "operationTime" : Timestamp(1756945945, 1)
}

一定要注意mongoDB重启顺序：docker start mongodbMaster，docker start mongodbSlave1，docker start mongodbSlave2
先启动mongodbMaster那个就会成为PRIMARY，也是可以读写的，其他的都是副本集，属于SECONDARY，只能读

验证

使用Navicat数据库连接工具，点击连接，选择monogb
输入ip 端口，账号、密码、数据库名，这里端口填写主端口27017，最后点击一下"测试连接"，返回OK说明配置连接成功。
右键新一个数据库test
选择集合，新建一个集合demo1
建表SQL，我这里用的是脚本执行的

// ----------------------------
// Collection structure for autoId
// ----------------------------
db.getCollection("demo1").drop();
db.createCollection("demo1");

// ----------------------------
// Documents of autoId
// ----------------------------
db.getCollection("demo1").insert([ {
    _id: "6394049da732a862951f5a62",    
    autoId: NumberInt("1288641"),
    collectionName: "product"
} ]);

执行脚本

插入成功后，效果如下
事务验证这块，因为使用的代码验证的，你们只能自行用代码验证了，方法很简单，开启事务后，先执行一个插入，再制造一个异常，比如 1/0, 看数据是否回滚。

小结

遇到无法写入数据时，先进入任何一个容器
比如 docker exec -it mongodbMaster /bin/bash
mongo
rs.status();
查看
members[].stateStr：主节点应为 “PRIMARY”。
members[].health：健康节点值为 1。
若都为SECONDARY，说明还没有确定谁是PRIMARY，先等一会再执行看看是否有PRIMARY，有的那个就是可以连接和读写的容器
若一直都是SECONDARY，就要检查容器情况了。