mongodb分片集群的搭建（centos7）--04

最新推荐文章于 2025-02-28 17:09:10 发布

长安有故里y

最新推荐文章于 2025-02-28 17:09:10 发布

阅读量719

点赞数

分类专栏： redis+MongoDB 文章标签： java 数据库 mysql

本文链接：https://blog.youkuaiyun.com/ncnhhm/article/details/121545006

版权

redis+MongoDB 专栏收录该内容

11 篇文章

订阅专栏

这里写目录标题

1. 分片集群搭建的介绍
2. 分片集群的搭建
3. 分片集群的应用

1. 分片集群搭建的介绍

官方的文档：
https://docs.mongodb.com/v3.6/sharding/

在这里插入图片描述
我们搭建的集群架构图

规划：
10个实例：38017-38026

（1）configserver:
3台构成的复制集（1主两从，不支持arbiter）38018-38020（复制集名字configsvr）

（2）shard节点：

sh1：38021-23    （1主两从，其中一个节点为arbiter，复制集名字sh1）
sh2：38024-26    （1主两从，其中一个节点为arbiter，复制集名字sh2）

2. 分片集群的搭建

都是在mongod用户下完成的，目录的权限也都是mongod

su - mongod

配置文件的注意事项
sh1与sh2的配置文件的区别：

replication:
  oplogSizeMB: 2048
  replSetName: sh1

replication:
  oplogSizeMB: 2048
  replSetName: sh2

(sh1和sh2)与config配置文件的区别

sh1 sh2
replication:
  oplogSizeMB: 2048
  replSetName: sh1
sharding:
  clusterRole: shardsvr
========================================
config 
replication:
  oplogSizeMB: 2048
  replSetName: configReplSet
sharding:
  clusterRole: configsvr

除了集群的名称不一样，在sharding集群里边的角色不一样，
sh1 sh2 的角色shardsvr
config server的角色configsvr
clusterRole 角色不尅更改的（不可以自己定义名字的），replSetName可以更改的

router的配置
只需要配置出config的节点信息给他即可，不需要数据目录

sharding:
  configDB: configReplSet/192.168.80.51:38018,192.168.80.51:38019,192.168.80.51:38020

详细过程如下

2.1 分片sh1的搭建

目录的创建
单节点的怎么安装的请参考
https://blog.youkuaiyun.com/ncnhhm/article/details/121488513

mkdir -p /mongodb/38021/conf  /mongodb/38021/log  /mongodb/38021/data
mkdir -p /mongodb/38022/conf  /mongodb/38022/log  /mongodb/38022/data
mkdir -p /mongodb/38023/conf  /mongodb/38023/log  /mongodb/38023/data

配置文件

cat > /mongodb/38021/conf/mongodb.conf<<EOF 
systemLog:
  destination: file
  path: /mongodb/38021/log/mongodb.log   
  logAppend: true
storage:
  journal:
    enabled: true
  dbPath: /mongodb/38021/data
  directoryPerDB: true
  #engine: wiredTiger
  wiredTiger:
    engineConfig:
      cacheSizeGB: 1
      directoryForIndexes: true
    collectionConfig:
      blockCompressor: zlib
    indexConfig:
      prefixCompression: true
net:
  bindIp: 192.168.80.51,127.0.0.1
  port: 38021
replication:
  oplogSizeMB: 2048
  replSetName: sh1
sharding:
  clusterRole: shardsvr
processManagement: 
  fork: true
EOF

cp  /mongodb/38021/conf/mongodb.conf  /mongodb/38022/conf/
cp  /mongodb/38021/conf/mongodb.conf  /mongodb/38023/conf/
sed 's#38021#38022#g' /mongodb/38022/conf/mongodb.conf -i
sed 's#38021#38023#g' /mongodb/38023/conf/mongodb.conf -i

2.2 分片sh2的搭建

目录的创建

mkdir -p /mongodb/38024/conf  /mongodb/38024/log  /mongodb/38024/data
mkdir -p /mongodb/38025/conf  /mongodb/38025/log  /mongodb/38025/data
mkdir -p /mongodb/38026/conf  /mongodb/38026/log  /mongodb/38026/data

配置文件

cat > /mongodb/38024/conf/mongodb.conf<<EOF 
systemLog:
  destination: file
  path: /mongodb/38024/log/mongodb.log   
  logAppend: true
storage:
  journal:
    enabled: true
  dbPath: /mongodb/38024/data
  directoryPerDB: true
  wiredTiger:
    engineConfig:
      cacheSizeGB: 1
      directoryForIndexes: true
    collectionConfig:
      blockCompressor: zlib
    indexConfig:
      prefixCompression: true
net:
  bindIp: 192.168.80.51,127.0.0.1
  port: 38024
replication:
  oplogSizeMB: 2048
  replSetName: sh2
sharding:
  clusterRole: shardsvr
processManagement: 
  fork: true
EOF

cp  /mongodb/38024/conf/mongodb.conf  /mongodb/38025/conf/
cp  /mongodb/38024/conf/mongodb.conf  /mongodb/38026/conf/
sed 's#38024#38025#g' /mongodb/38025/conf/mongodb.conf -i
sed 's#38024#38026#g' /mongodb/38026/conf/mongodb.conf -i

2.3 启动所有的节点配置复制集

启动

mongod -f  /mongodb/38021/conf/mongodb.conf 
mongod -f  /mongodb/38022/conf/mongodb.conf 
mongod -f  /mongodb/38023/conf/mongodb.conf 
mongod -f  /mongodb/38024/conf/mongodb.conf 
mongod -f  /mongodb/38025/conf/mongodb.conf 
mongod -f  /mongodb/38026/conf/mongodb.conf

sh1的复制集配置

mongo --port 38021 admin

config = {_id: 'sh1', members: [
                          {_id: 0, host: '192.168.80.51:38021'},
                          {_id: 1, host: '192.168.80.51:38022'},
                          {_id: 2, host: '192.168.80.51:38023',"arbiterOnly":true}]
           }

rs.initiate(config)

sh2的复制集的配置

mongo --port 38024  admin
config = {_id: 'sh2', members: [
                          {_id: 0, host: '192.168.80.51:38024'},
                          {_id: 1, host: '192.168.80.51:38025'},
                          {_id: 2, host: '192.168.80.51:38026',"arbiterOnly":true}]
           }
 
rs.initiate(config)

2.4 config节点配置

目录准备

mkdir -p /mongodb/38018/conf  /mongodb/38018/log  /mongodb/38018/data
mkdir -p /mongodb/38019/conf  /mongodb/38019/log  /mongodb/38019/data
mkdir -p /mongodb/38020/conf  /mongodb/38020/log  /mongodb/38020/data

配置文件

cat > /mongodb/38018/conf/mongodb.conf <<EOF
systemLog:
  destination: file
  path: /mongodb/38018/log/mongodb.conf
  logAppend: true
storage:
  journal:
    enabled: true
  dbPath: /mongodb/38018/data
  directoryPerDB: true
  #engine: wiredTiger
  wiredTiger:
    engineConfig:
      cacheSizeGB: 1
      directoryForIndexes: true
    collectionConfig:
      blockCompressor: zlib
    indexConfig:
      prefixCompression: true
net:
  bindIp: 192.168.80.51,127.0.0.1
  port: 38018
replication:
  oplogSizeMB: 2048
  replSetName: configReplSet
sharding:
  clusterRole: configsvr
processManagement: 
  fork: true
EOF

cp /mongodb/38018/conf/mongodb.conf /mongodb/38019/conf/
cp /mongodb/38018/conf/mongodb.conf /mongodb/38020/conf/
sed 's#38018#38019#g' /mongodb/38019/conf/mongodb.conf -i
sed 's#38018#38020#g' /mongodb/38020/conf/mongodb.conf -i

启动

mongod -f /mongodb/38018/conf/mongodb.conf 
mongod -f /mongodb/38019/conf/mongodb.conf 
mongod -f /mongodb/38020/conf/mongodb.conf

集群的配置

mongo --port 38018 admin
config = {_id: 'configReplSet', members: [
                          {_id: 0, host: '192.168.80.51:38018'},
                          {_id: 1, host: '192.168.80.51:38019'},
                          {_id: 2, host: '192.168.80.51:38020'}]
           }
rs.initiate(config)

configserver 可以是一个节点，官方建议复制集。configserver不能有arbiter。
新版本中，要求必须是复制集

2.5 router的mongos节点配置

mkdir -p /mongodb/38017/conf  /mongodb/38017/log

cat > /mongodb/38017/conf/mongos.conf<<EOF
systemLog:
  destination: file
  path: /mongodb/38017/log/mongos.log
  logAppend: true
net:
  bindIp: 192.168.80.51,127.0.0.1
  port: 38017
sharding:
  configDB: configReplSet/192.168.80.51:38018,192.168.80.51:38019,192.168.80.51:38020
processManagement: 
  fork: true
EOF

启动

mongos -f /mongodb/38017/conf/mongos.conf

分片集群搭建完成

3. 分片集群的应用

3.1 添加分片

连接到其中的一个的router的mongs

mongo 192.168.80.51:38017/admin

添加分片

db.runCommand( { addshard : "sh1/192.168.80.51:38021,192.168.80.51:38022,192.168.80.51:38023",name:"shard1"} )
db.runCommand( { addshard : "sh2/192.168.80.51:38024,192.168.80.51:38025,192.168.80.51:38026",name:"shard2"} )

列出分片

db.runCommand( { listshards : 1 } )

查看整体的状态

sh.status();

虽然mongodb有强大的功能，存储的时候会出现一些问题，假若我们不进行操作，他会sh1的用完了在使用sh2的，我们就要手动的设置一些写入以后的分片策略，让他均匀的存储

官方文档
https://docs.mongodb.com/v3.6/core/hashed-sharding/

3.2 RANGE分片配置及测试

1、激活数据库分片功能
mongo --port 38017 admin
admin>  ( { enablesharding : "数据库名称" } )

eg：
admin> db.runCommand( { enablesharding : "test" } )

2、指定分片建对集合分片
eg：范围片键
--创建索引
use test
> db.vast.ensureIndex( { id: 1 } )

--开启分片
use admin
> db.runCommand( { shardcollection : "test.vast",key : {id: 1} } )

3、集合分片验证
admin> use test
test> for(i=1;i<10;i++){ db.vast.insert({"id":i,"name":"shenzheng","age":70,"date":new Date()}); }
test> db.vast.stats()

4、分片结果测试

shard1:
mongo --port 38021
db.vast.count();

shard2:
mongo --port 38024
db.vast.count();

3.3 Hash分片

创建哈希索引
（1）对于oldboy开启分片功能
mongo --port 38017 admin
use admin
admin> db.runCommand( { enablesharding : "oldboy" } )

（2）对于oldboy库下的vast表建立hash索引
use oldboy
oldboy> db.vast.ensureIndex( { id: "hashed" } )


（3）开启分片 
use admin
admin > sh.shardCollection( "oldboy.vast", { id: "hashed" } )

（4）录入10w行数据测试
use oldboy
for(i=1;i<10;i++){ db.vast.insert({"id":i,"name":"shenzheng","age":70,"date":new Date()}); }

（5）hash分片结果测试
mongo --port 38021
use oldboy
db.vast.count();

mongo --port 38024
use oldboy
db.vast.count();

3.4 分片集群查看配置的一些命令

判断是否Shard集群
admin> db.runCommand({ isdbgrid : 1})

列出所有分片信息
admin> db.runCommand({ listshards : 1})

列出开启分片的数据库
admin> use config

config> db.databases.find( { "partitioned": true } )
或者：
config> db.databases.find() //列出所有数据库分片情况

查看分片的片键
config> db.collections.find().pretty()
{
	"_id" : "test.vast",
	"lastmodEpoch" : ObjectId("58a599f19c898bbfb818b63c"),
	"lastmod" : ISODate("1970-02-19T17:02:47.296Z"),
	"dropped" : false,
	"key" : {
		"id" : 1
	},
	"unique" : false
}

9、查看分片的详细信息
admin> db.printShardingStatus()
或
admin> sh.status()

sh.status()
可以查看所有的信息

删除分片，一般不进行删除，删除的过程会进行chunk的迁移，数据量大的过程缓慢

（1）确认blance是否在工作
sh.getBalancerState()
（2）删除shard2节点(谨慎)
mongos> db.runCommand( { removeShard: "shard2" } )
注意：删除操作一定会立即触发blancer

blancer：
mongos的一个重要功能，自动巡查所有shard节点上的chunk的情况，自动做chunk迁移。

3.5 blancer

什么时候工作？
1、自动运行，会检测系统不繁忙的时候做迁移
2、在做节点删除的时候，立即开始迁移工作
3、balancer只能在预设定的时间窗口内运行 *****

有需要时可以关闭和开启blancer（备份的时候）
mongos> sh.stopBalancer()
mongos> sh.startBalancer()

12、自定义 自动平衡进行的时间段
https://docs.mongodb.com/manual/tutorial/manage-sharded-cluster-balancer/#schedule-the-balancing-window
// connect to mongos

 mongo --port 38017 admin
use config
sh.setBalancerState( true )
db.settings.update({ _id : "balancer" }, { $set : { activeWindow : { start : "3:00", stop : "5:00" } } }, true )

sh.getBalancerWindow()
sh.status()