Mongo 分片集群 Shard Cluster

最新推荐文章于 2024-06-11 16:59:57 发布
最新推荐文章于 2024-06-11 16:59:57 发布
阅读量390 收藏
点赞数
分类专栏： MongoDB
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/ko0491/article/details/108834593
版权

什么是分片

分片（sharding）是MongoDB用来将大型集合水平分割到不同服务器（或者复制集）上所采用的方法。不需要功能强大的大型计算机就可以存储更多的数据，处理更大的负载

为什么要分片

1.存储容量需求超出单机磁盘容量。
2.活跃的数据集超出单机内存容量，导致很多请求都要从磁盘读取数据，影响性能。
3.IOPS超出单个MongoDB节点的服务能力，随着数据的增长，单机实例的瓶颈会越来越明显。
4.副本集具有节点数量限制。
垂直扩展：增加更多的CPU和存储资源来扩展容量。
水平扩展：将数据集分布在多个服务器上。水平扩展即分片

分片的工作原理

在这里插入图片描述

分片集群由以下3个服务组成：
Shards Server: 每个shard由一个或多个mongod进程组成，用于存储数据。
Router Server: 数据库集群的请求入口，所有请求都通过Router(mongos)进行协调，不需要在应用程序添加一个路由选择器，Router(mongos)就是一个请求分发中心它负责把应用程序的请求转发到对应的Shard服务器上。
Config Server: 配置服务器。存储所有数据库元信息（路由、分片）的配置

片键（shard key）

为了在数据集合中分配文档，MongoDB使用分片主键分割集合。
区块（chunk）
在一个shard server内部，MongoDB还是会把数据分为chunks，每个chunk代表这个shardserver内部一部分数据。MongoDB分割分片数据到区块，每一个区块包含基于分片主键的左闭右开的区间范围

分片策略

范围分片（Range based sharding）

在这里插入图片描述

范围分片是基于分片主键的值切分数据，每一个区块将会分配到一个范围。
范围分片适合满足在一定范围内的查找，例如查找X的值在[20,30)之间的数据，mongo 路由根据
Config server中存储的元数据，可以直接定位到指定的shard的Chunk中。
缺点: 如果shard key有明显递增（或者递减）趋势，则新插入的文档多会分布到同一个chunk，无
法扩展写的能力。

hash分片（Hash based sharding）

在这里插入图片描述

Hash分片是计算一个分片主键的hash值，每一个区块将分配一个范围的hash值。
Hash分片与范围分片互补，能将文档随机的分散到各个chunk，充分的扩展写能力，弥补了范围分片的不足，缺点是不能高效的服务范围查询，所有的范围查询要分发到后端所有的Shard才能找出满足条件的文档

组合片键 A + B(散列思想 不能是直接hash)

数据库中没有比较合适的片键供选择，或者是打算使用的片键基数太小（即变化少如星期只有7天可变化），可以选另一个字段使用组合片键，甚至可以添加冗余字段来组合。一般是粗粒度+细粒度进行组合

合理的选择shard key
从两个方面考虑，数据的查询和写入，最好的效果就是数据查询时能命中更少的分片，数据写入时能够随机的写入每个分片，关键在于如何权衡性能和负载
在这里插入图片描述
在这里插入图片描述

建立配置节点

建立config目录
在这里插入图片描述

  • 节点1 config-17017.conf

# 数据库文件位置
dbpath=config/config1
#日志文件位置
logpath=config/logs/config1.log
# 以追加方式写入日志
logappend=true
# 是否以守护进程方式运行
fork = true
bind_ip=0.0.0.0
port = 17017
# 表示是一个配置服务器
configsvr=true
#配置服务器副本集名称
replSet=configsvr
  • 节点2 config-17018.conf
# 数据库文件位置
dbpath=config/config2
#日志文件位置
logpath=config/logs/config2.log
# 以追加方式写入日志
logappend=true
# 是否以守护进程方式运行
fork = true
bind_ip=0.0.0.0
port = 17018
# 表示是一个配置服务器
configsvr=true
#配置服务器副本集名称
replSet=configsvr
  • 节点3 config-17019.conf

# 数据库文件位置
dbpath=config/config3
#日志文件位置
logpath=config/logs/config3.log
# 以追加方式写入日志
logappend=true
# 是否以守护进程方式运行
fork = true
bind_ip=0.0.0.0
port = 17019
# 表示是一个配置服务器
configsvr=true
#配置服务器副本集名称
replSet=configsvr
  • 分别启动
./bin/mongod -f config/config-17017.conf
./bin/mongod -f config/config-17018.conf
./bin/mongod -f config/config-17019.conf
  • 进入任意一个
    进入任意节点的mongo shell 并添加 配置节点集群 注意use admin
    ./bin/mongo --port 17017
### 配置
var cfg ={"_id":"configsvr",
"members":[
{"_id":1,"host":"192.168.181.135:17017"},
{"_id":2,"host":"192.168.181.135:17018"},
{"_id":3,"host":"192.168.181.135:17019"}]
};
rs.initiate(cfg)
rs.status()
配置分片shard1节点-shard1集群搭建37017到37019
  • 37017
dbpath=shard/shard1/shard1-37017
bind_ip=0.0.0.0
port=37017
fork=true
logpath=shard/shard1/shard1-37017.log
replSet=shard1
shardsvr=true
  • 37018
dbpath=shard/shard1/shard1-37018
bind_ip=0.0.0.0
port=37018
fork=true
logpath=shard/shard1/logs/shard1-37018.log
replSet=shard1
shardsvr=true
  • 38019
dbpath=shard/shard1/shard1-37019
bind_ip=0.0.0.0
port=37019
fork=true
logpath=shard/shard1/logs/shard1-37019.log
replSet=shard1
shardsvr=true

启动同上

./bin/mongod -f =shard/shard1-37017.conf
./bin/mongod -f =shard/shard1-37018.conf
./bin/mongod -f =shard/shard1-37019.conf
  • 进入任意一个

var cfg ={"_id":"shard1",
"protocolVersion" : 1,
"members":[
{"_id":1,"host":"192.168.181.135:37017"},
{"_id":2,"host":"192.168.181.135:37018"},
{"_id":3,"host":"192.168.181.135:37019"}
]};

rs.initiate(cfg)
rs.status()
配置分片shard2节点shard2集群搭建47017到47019

shard2集群搭建47017到47019

  • 47017
dbpath=shard/shard2/shard2-47017
bind_ip=0.0.0.0
port=47017
fork=true
logpath=shard/shard2/logs/shard2-47017.log
replSet=shard2
shardsvr=true
  • 47018
dbpath=shard/shard2/shard2-47018
bind_ip=0.0.0.0
port=47018
fork=true
logpath=shard/shard2/logs/shard2-47018.log
replSet=shard2
shardsvr=true
  • 47019
dbpath=shard/shard2/shard2-47019
bind_ip=0.0.0.0
port=47019
fork=true
logpath=shard/shard2/logs/shard2-47019.log
replSet=shard2
shardsvr=true

启动同上

./bin/mongod -f =shard/shard2-47017.conf
./bin/mongod -f =shard/shard2-47018.conf
./bin/mongod -f =shard/shard2-47019.conf
  • 进入任意一个
var cfg ={"_id":"shard2",
"protocolVersion" : 1,
"members":[
{"_id":1,"host":"192.168.181.135:47017"},
{"_id":2,"host":"192.168.181.135:47018"},
{"_id":3,"host":"192.168.181.135:47019"}
]};

rs.initiate(cfg)
rs.status()
配置路由节点

route-27017.conf


port=27017
bind_ip=0.0.0.0
fork=true
logpath=route/logs/route.log
configdb=configsvr/192.168.181.135:17017,192.168.181.135:17018,192.168.181.135:17019
  • 启动
    ** 启动路由节点使用 mongos （注意不是mongod）**
./bin/mongos -f route/route-27017.conf

mongos（路由）中添加分片节点

  • 进入mongos
/bin/mongo --port 27017
MongoDB shell version v4.1.3
connecting to: mongodb://127.0.0.1:27017/
Implicit session: session { "id" : UUID("f1db0f92-dca5-43e9-8389-9b11a9feca05") }
MongoDB server version: 4.1.3
Server has startup warnings: 
2020-09-27T20:25:13.554+0800 I CONTROL  [main] 
2020-09-27T20:25:13.554+0800 I CONTROL  [main] ** NOTE: This is a development version (4.1.3) of MongoDB.
2020-09-27T20:25:13.554+0800 I CONTROL  [main] **       Not recommended for production.
2020-09-27T20:25:13.554+0800 I CONTROL  [main] 
2020-09-27T20:25:13.554+0800 I CONTROL  [main] ** WARNING: Access control is not enabled for the database.
2020-09-27T20:25:13.554+0800 I CONTROL  [main] **          Read and write access to data and configuration is unrestricted.
2020-09-27T20:25:13.554+0800 I CONTROL  [main] ** WARNING: You are running this process as the root user, which is not recommended.
2020-09-27T20:25:13.554+0800 I CONTROL  [main] 

 sh.status()
--- Sharding Status --- 
  sharding version: {
  	"_id" : 1,
  	"minCompatibleVersion" : 5,
  	"currentVersion" : 6,
  	"clusterId" : ObjectId("5f707f05f527e428c8587799")
  }
  shards:
  active mongoses:
  autosplit:
        Currently enabled: yes
  balancer:
        Currently enabled:  yes
        Currently running:  no
        Failed balancer rounds in last 5 attempts:  0
        Migration Results for the last 24 hours: 
                No recent migrations
  databases:
        {  "_id" : "config",  "primary" : "config",  "partitioned" : true }
  • 添加分片


sh.addShard("shard1/192.168.181.135:37017,192.168.181.135:37018,192.168.181.135:37019");
sh.addShard("shard2/192.168.181.135:47017,192.168.181.135:47018,192.168.181.135:47019");
  • 开启数据库和集合分片(指定片键)
    继续使用mongos完成分片开启和分片大小设置
    sh.shardCollection(“my_resume.my_resume_datas”,{“片键字段名如 name”:索引说明})
为数据库开启分片功能
sh.enableSharding("my_resume")
为指定集合开启分片功能
sh.shardCollection("my_resume.my_resume_datas",{"name":"hashed"})
  • 添加数据
use my_resume;
for(var i=1;i<= 1000;i++){
  db.my_resume_datas.insert({"name":"test"+i,
  salary:(Math.random()*20000).toFixed(2)});
}

  • 查看

  • shard1
    在这里插入图片描述

  • shard2
    在这里插入图片描述

Mongodb单机、复制集Replica Sets、分片集群Shard Cluster安装详解
qq_36305027的博客
08-24 858
​ 在主从模式的架构中，主节点（Master）的操作记录成为oplog（operation log),oplog存储在系统数据库local的 oplog.$main集合中，这个集合的每个文档都代表主节点上执行的一个操作。​ Hash分片与范围分片互补，能将文档随机的分散到各个chunk，充分的扩展写能力，弥补了范围分片的不足，缺点是不能高效的服务范围查询，所有的范围查询要分发到后端所有的Shard才能找出满足条件的文档。主节点选举是一个二阶段过程+多数派协议。
mongodb shard 分片集群基础概念
最新发布
我要出家当道士
11-25 1496
本文简单的介绍了 mongodb 分片集群的基本概念与组成
MongoDB集群之分片集群 Shard Cluster
凉茶铺的博客
09-15 1809
介绍了MongoDB的分片集群，以及其搭建方法。
实战：MongoDB 分片集群Shard Cluster 搭建（1台路由节点，3台配置节点，9台分片节点）
chuanchengdabing的博客
09-25 4057
MongoDB 分片集群搭建 一、搭建要求 一台路由节点 IP地址：192.168.80.110 端口：11111 三套复制集（每个分片节点中的复制集 都需要有仲裁节点） IP地址： 192.168.80.55 ， 端口：15555/15556/15557 IP地址： 192.168.80.56 ， 端口：15555/15556/15557 IP地址： 192.168.80.57 ， 端口：15555/15556/15557 一
使用mongodb shard cluster构建高可用的系统架构
Dean Chen的专栏
10-22 7072
在一个产品环境下，高可用是必须达到的目标。下图是mongodb 3.0之后的shard cluster架构图。几个要点：1. mongos实现了和mongod一样的接口，因此你的程序可以向访问mongod几个要点1. mongos实现了mongod一样的服务接口，监听相同的27017端口，mongos接到访问请求后，会根据sharding算法，将请求转发到对应的shard中，然后会将各个shard
搭建mongoDB Shard集群
weixin_42379136的博客
11-06 520
这里是用虚拟机模拟mongoDB Shard集群的搭建过程，实际项目中更多的shard server，搭建方法也一致。 准备环境： Hosts:      lin01.cniao5.com    （启动3个configuration server实例，互为replSet, 启动mongos服务） lin02.cniao5.com    （启动3个shard server实例,互为replS...
Sharding：Shard Cluster 增加 shard 节点
weixin_34268169的博客
11-16 208
Sharding：Shard Cluster 增加 shard 节点 一 现有环境--1.1 查看Sharding Cluster 状态mongos>sh.status(); ---ShardingStatus--- shardingversion:{"_id":1,"version":3} shards: {"...
4.MongoDB sharding Cluster 分片集群
2302_77503226的博客
06-11 661
MongoDB分片集群是MongoDB提供的一种可水平扩展的数据存储解决方案，当单个MongoDB服务器无法满足数据存储需求或吞吐量要求时，可以使用分片集群来分散数据量和查询负载。
MongoDB分片集群shard扩缩容
三思的博客
04-13 3004
文章目录一、分片shard节点缩容二、分片shard节点扩容 一、分片shard节点缩容 Mongodb分片集群shard节点缩容相对是比较简单的，可以利用MongoDB自身的平衡器来将预下线中的分片中存储的数据进行转移，待预下线shard节点中无任何数据库，进行下线处理。所有的下线操作通过mongos进行管理实现。 1、查看分片集群是否开启平衡器 mongos> sh.getBalancerState() true 2、发起删除分片节点命令，平衡器开始自动迁移数据 -- 查看当前集群状态 mong
mongoDB 分片（shard）
hjh15827475896的博客
05-23 620
mongoDB 的分片技术（shard） 其功能是把mongoDB数据库上的数据进得分片存储，以便于实现类似的负载均衡 规划 从流程上来说  分片需要有三个步骤 1. 数据请求交给   mongos服务器，它相当于一个路由器，是数据请求的总入口， 2. 需要一个mongo  configsvr服务器   ，它相当于一个路由表，  mongos（路由器）接到请求后，会去找 con
MongoDB Sharding 分片技术
残缺的孤独
05-27 8968
1、概述
MongoDB分片集群 Shard Cluster
rzpy_qifengxiaoyue的博客
10-10 865
文章目录1. 什么是分片2. 为什么要分片3. 分片的工作原理4. 分片集群搭建4.1 配置 并启动config 节点集群4.2 配置shard集群4.3 配置和启动 路由节点4.4 mongos(路由)中添加分片节点4.5 开启数据库和集合分片(指定片键)4.6 向集合中插入数据测试4.7 验证分片效果 1. 什么是分片 分片(sharding)是MongoDB用来将大型集合水平分割到不同服务器(或者复制集)上所采用的方法。 不需要功能强大的大型计算机就可以存储更多的数据，处理更大的负载。 2. 为什么要
mongoDB 的分片技术 shard
hjh15827475896的博客
09-26 554
mongodb的分片技术 ，是把一个数据库中的数据，分别存储在不同的服务器上，从而减小单个服务器磁盘的压力 下面 以一个图来说明该技术的拓补结构   二.规化 这里我们 用两台机来做 shard 服务器 （分别是：127.0.0.1:27017和127.0.0.1:27018）再用一台来做 configsvr 服务器(127.0.0.1:27020) ，并在其上面开启mongos路由服...
MongoDB 分片的原理、搭建、应用
03-28 845
一、概念： 分片 （sharding）是指将数据库拆分，将其分散在不同的机器上的过程。将数据分散到不同的机器上，不需要功能强大的服务器就可以存储更多的数据和处理更大的负载。 基本思想就是将集合切成小块，这些块分散到若干片里，每个片只负责总数据的一部分。通过一个名为mongos的路由进程进行操作，mongos知道数据和片的对应关系（通过配置服务器）。大部分使用场景都是解决磁盘空间的问题，
mongodb集群搭建（主从-shard集群）
冬阳
01-21 813
一.主从搭建 1.我在两台机器上操作（172.30.50.179，180  ） 1.cd /usr/local/app/mongodb-4.0.5 2.mkdir -p data/{37017,37018} 3.mkdir -p config log 4.添加配置文件   vim config/config1-37017.conf    180的机器   dbpath=/usr/l...
mongo 分片集群安装及管理
xiaoliuliu2050的专栏
04-20 841
一、 集群的三个组件：mongos(query routers):查询路由，负责client的连接，并把任务分配给shards，然后收集结果。config server:配置服务器，保存了集群的元数据信息，查询路由通过配置服务器的配置信息决定把任务分配+到哪个shards上。shards server:分片，存储数据和执行计算。二、 集群架构图：三、 集群的IP及端口规划：服务192.168.14...
笔记14：MongoDB分片集群Shard Cluster搭建
Lossdate的博客
05-01 438
一、简介 分片（sharding）是MongoDB用来将大型集合水平分割到不同服务器（或者复制集）上所采用的方法。 不需要功能强大的大型计算机就可以存储更多的数据，处理更大的负载。 分片集群由以下3个服务组成： Shards Server: 每个shard由一个或多个mongod进程组成，用于存储数据。 Router Server: 数据库集群的请求入口，所有请求都通过Router(mongos)进行协调，不需要在应用程 序添加一个路由选择器，Router(mongos)就是一个请求分发中心它负责把应用
mongodb shard 分片技术
yelang_110的专栏
09-01 576
启动route process 配置route process并且启动，代码如下： [root@localhost ~]# /usr/local/mongo/bin/mongos --port 40000 --configdb localhost:30000 --fork --logpath /data/shard/log/route.log --chunkSize 1 forked proces
MongoDB集群之分片集群
weixin_42494845的博客
10-22 379
mongodb分片 分片（sharding）是MongoDB用来将大型集合分割到不同服务器（或者说一个集群）上所采用的方法。尽管分片起源于关系型数据库分区，但MongoDB分片完全又是另一回事。 和MySQL分区方案相比，MongoDB的大区别在于它几乎能自动完成所有事情，只要告诉MongoDB要分配数据， 它就能自动维护数据在不同服务器之间的均衡。 简介 高数据量和吞吐量的数据库应用会对单机的性能造成较大压力，大的查询量会将单机的CPU耗尽,大的数据量对单机的 存储压力较大,终会耗尽系统的内存而将压力转移
mongo分片集群部署
07-08
要部署 MongoDB 分片集群，需要按照以下步骤进行操作： 1. 安装 MongoDB：在每个分片服务器和配置服务器上安装 MongoDB。可以从 MongoDB 官方网站（https://www.mongodb.com/try/download/community）下载最新的 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值