MongoDB分布式集群搭建(副本集+分片集群)、数据备份与恢复

MongoDB分片介绍

分片就是将数据库进行拆分，将大型集合分隔到不同服务器上。比如，本来100G的数据，可以分割成10份存储到10台服务器上，这样每台机器只有10G的数据，通过一个mongos的进程（路由）实现分片后的数据存储与访问，也就是说mongos是整个分片架构的核心，对客户端而言是不知道是否有分片的，客户端只需要把读写操作转达给mongos即可。虽然分片会把数据分隔到很多台服务器上，但是每一个节点都是需要有一个备用角色（副本集），这样能保证数据的高可用。当系统需要更多空间或者资源的时候，分片可以让我们按需方便扩展，只需要把mongodb服务的机器加入到分片集群中即可

MongoDB副本集配置见：https://blog.youkuaiyun.com/Powerful_Fy/article/details/103604693

分片架构图

MongoDB分片集群先关概念

mongos: 数据库集群请求的入口，所有的请求都通过mongos进行协调，不需要在应用程序添加一个路由选择器，mongos自己就是一个请求分发中心，它负责把对应的数据请求转发到对应的shard服务器上。在生产环境通常有多个mongos作为请求的入口，防止其中一个挂掉所有的mongodb请求都没有办法操作。

config server: 配置服务器，存储所有数据库元信息（路由、分片）的配置。

shard: 存储了一个集合部分数据的MongoDB实例，每个分片是单独的mongodb服务或者副本集，在生产环境中，所有的分片都应该是副本集

mongos本身没有物理存储分片服务器和数据路由信息，只是缓存在内存里，config配置服务器则实际存储这些数据。mongos第一次启动或者关掉重启就会从config server加载配置信息，以后如果配置服务器信息变化会通知到所有的mongos更新自己的状态，这样 mongos 就能继续准确路由，在生产环境通常有多个config server配置服务器，因为它存储了分片路由的元数据，防止数据丢失

MongoDB集群搭建

服务器规划

A机器（192.168.234.128）搭建：mongos、config server、副本集1主节点、副本集2的仲裁、副本集3从节点
B机器（192.168.234.130）搭建：mongos、config server、副本集1从节点、副本集2主节点、副本集3的仲裁
C机器（192.168.234.125）搭建：mongos、config server、副本集1的仲裁、副本集2从节点、副本集3主节点
端口分配：mongos 2000、config 21000、副本集1 22001、副本集2 22002、副本集3 22003

分别在三台机上创建所需要的目录

[root@linux ~]# mkdir -p /data/mongodb/mongos/log
[root@linux ~]# mkdir -p /data/mongodb/config/{data,log}
[root@linux ~]# mkdir -p /data/mongodb/shard1/{data,log}
[root@linux ~]# mkdir -p /data/mongodb/shard2/{data,log}
[root@linux ~]# mkdir -p /data/mongodb/shard3/{data,log}

创建config server副本集

分别在三台机器创建配置文件

[root@linux ~]# mkdir /etc/mongod/
[root@linux ~]# vim /etc/mongod/config.conf

A机器配置文件内容

pidfilepath = /var/run/mongodb/configsrv.pid
dbpath = /data/mongodb/config/data
logpath = /data/mongodb/config/log/congigsrv.log
logappend = true
bind_ip = 127.0.0.1,192.168.234.128
port = 21000
fork = true
configsvr = true 
replSet=configs #副本集名称
maxConns=20000 #设置最大连接数

B机器配置文件内容

pidfilepath = /var/run/mongodb/configsrv.pid
dbpath = /data/mongodb/config/data
logpath = /data/mongodb/config/log/congigsrv.log
logappend = true
bind_ip = 127.0.0.1,192.168.234.130
port = 21000
fork = true
configsvr = true 
replSet=configs #副本集名称
maxConns=20000 #设置最大连接数

C机器配置文件内容

pidfilepath = /var/run/mongodb/configsrv.pid
dbpath = /data/mongodb/config/data
logpath = /data/mongodb/config/log/congigsrv.log
logappend = true
bind_ip = 127.0.0.1,192.168.234.125
port