MongoDB——部署MongoDB分片集群

分片的概念

• 分片（sharding)是一种跨多台机器分布数据的方法， MongoDB使用分片来支持具有非常大的数据集和高吞吐量操作的部署。

• 换句话说：分片(sharding)是指将数据拆分，将其分散存在不同的机器上的过程。有时也用分区(partitioning)来表示这个概念。将数据分散到不同的机器上，不需要功能强大的大型计算机就可以储存更多的数据，处理更多的负载。

• 具有大型数据集或高吞吐量应用程序的数据库系统会挑战单个服务器的容量。例如，高查询率会耗尽服务器的CPU容量。工作集大小大于系统的RAM会强调磁盘驱动器的I / O容量。

• 有两种解决系统增长的方法：垂直扩展和水平扩展。

  1. 垂直扩展意味着增加单个服务器的容量，例如使用更强大的CPU，添加更多RAM或增加存储空间量。可用技术的局限性可能会限制单个机器对于给定工作负载而言足够强大。此外，基于云的提供商基于可用的硬件配置具有硬性上限。结果，垂直缩放有实际的最大值。
  2. 水平扩展意味着划分系统数据集并加载多个服务器，添加其他服务器以根据需要增加容量。虽然单个机器的总体速度或容量可能不高，但每台机器处理整个工作负载的子集，可能提供比单个高速大容量服务器更高的效率。扩展部署容量只需要根据需要添加额外的服务器，这可能比单个机器的高端硬件的总体成本更低。权衡是基础架构和部署维护的复杂性增加。

• MongoDB支持通过分片进行水平扩展。

分片集群的优势

分片为应对高吞吐量与大数据提供了方法

• 使用分片减少了每个分片需要处理的请求数，通过水平扩展，集群可以提高自己的存储量和吞吐量。比如，当插入一条数据时，应用只需要访问存储这条数据的分片
• 使用分片减少了每个分片存储的数据
• 提供类似线性增长的架构、提高数据可用性，提高大型数据库查询服务器的性能。当MongoDB 单点数据库服务器存储成为瓶颈、单点数据库服务器的性能成为瓶颈，或者需要部署大型应用以充分利用内存时，可以使用分片技术

分片集群包含的组件

MongoDB分片群集包含以下组件：

• Shard：分片服务器，用于存储实际的数据块，实际生产环境中一个shard server角色可由几台服务器组成一个Replica Set 承担，防止主机单点故障
• Config Server：配置服务器存储群集的元数据和配置设置。 从MongoDB 3.4开始，必须将配置服务器部署为副本集（CSRS）
• Routers：前端路由，客户端由此接入，在客户端应用程序和分片集群之间提供接口，且让整个集群看上去像单一数据库，前端应用可以透明使用

部署MongoDB分片集群的

准备工作

• Shard:
  • maomao：27017-27019（一主两从），27020（仲裁）
  • zhuzhu：27021-27023（一主两从）
• Config Server：37017-37019
• mongos：47017（先使用一台路由，等搭建完成之后再添加一台路由+Atlas做备份）

cd /data/logs/mongodb
touch mongodb-2702{
   
   1..3}.log
touch mongodb-3701{
   
   7..9}.log
touch mongodb-47017.log
[root@mongodb mongodb]# ls
mongodb-27017.log  mongodb-27019.log  mongodb-27021.log  mongodb-27023.log  mongodb-37018.log  mongodb-47017.log
mongodb-27018.log  mongodb-27020.log  mongodb-27022.log  mongodb-37017.log  mongodb-37019.log

chmod 777 ./*

mkdir mongodb-2702{
   
   1..3}
mkdir mongodb-3701{
   
   7..9}
mkdir mongodb-47017

cp -a mongod-27017.conf mongod-27021.conf

配置shard

注意两个复制集的名字不能相同
第一个复制集
sharding:
  clusterRole: shardsvr
replication:
  oplogSizeMB: 2048
  replSetName: maomao

第二个复制集
sed -ri -e 's/27017/27021/g' -e 's/maomao/zhuzhu/g' mongod-27021.conf
sed -ri -e 's/27017/27022/g' -e 's/maomao/zhuzhu/g' mongod-27022.conf 
sed -ri -e 's/27017/27023/g' -e 's/maomao/zhuzhu/g' mongod-27023.conf 

只在切片服务器上添加
sharding:
  clusterRole: shardsvr

配置Config Server

sed -ri -e 's/27017/37017/g'  mongod-37017.conf

vim mongod-37017.conf
sharding:
  clusterRole: configsvr
replication:
  oplogSizeMB: 2048
  replSetName: configReplSet

配置 mongos

sed -ri -e 's/27017/47017/g'  mongod-47017.conf

添加config