os:win11
mongodb:4.4.24
伪分布式
分片概述:
分片是一种数据库优化技术,它将大型数据库分割成多个较小的、更易于管理的片段,称为“分片”。每个分片存储数据的一部分,可以独立地进行读写操作,从而提高数据库的性能、可扩展性和可靠性。分片技术能够有效地分散数据访问压力,使得数据库可以处理更多的并发请求,同时也方便了数据的维护和管理。通过合理的分片策略,可以实现数据的均匀分布和负载均衡,进而提升整个系统的运行效率。
分片架构
图片中展示了分布式数据库系统的主要部件,包括三个Shard(数据分片)、一个Config Server以及两个Mongos节点。Shard用于存储数据,并通过网络连接到Config Server;Config Server负责管理数据的分布和一致性;Mongos节点则作为路由层,负责接收客户端请求并转发到相应的Shard。这些部件共同协作,确保系统的高效、可扩展和容错性。
部署分片集群
部署两个shard分片块,数据存储的地方。
步骤一:环境准备
分片 | 节点(实例) | 端口 | 路径 |
1 | shard11(主) | 4006 | dbpath:D:\shard1\shard11\data logpath:D:\shard1\shard11\log |
shard12(从) | 4007 | dbpath:D:\shard1\shard12\data logpath:D:\shard1\shard12\log | |
shard21(主) | 4008 | dbpath:D:\shard2\shard21\data logpath:D:\shard2\shard21\log | |
2 | shard22(从) | 4009 | dbpath:D:\shard2\shard22\data logpath:D:\shard2\shard22\log |
每一个分片都应该安装 MongoDB 实例,需要将 bin 文件复制到每个分片中, 并且创建data 文件以及 log 文件存放数据库数据和日志数据。
每个shard包含两个实例,一主一从。
步骤二 启动分片服务(实例)
2.1启动分片集群shard1(shard11和shard12)
shard11
然后进入数据库bin目录中,启动cmd
\bin>mongod --shardsvr --replSet shard1 -port 4006 -dbpath D:\shard1\shard11\data -logpath D:\shard1\shard11\log\shard11.log
shard12
进入数据库bin目录中,启动cmd
bin>mongod --shardsvr --replSet shard1 -port 4007 -dbpath D:\shard1\shard12\data -logpath D:\shard1\shard12\log\shard12.log
--shardsvr 为分片声明
当命令一直保持运行状态则说明服务运行成功,此服务为一次性服务,不要关闭此窗口,最小化即可。
2.2启动分片集群2(shard21和shard22)
shard21
\bin>mongod --shardsvr --replSet shard2 -port 4008 -dbpath D:\shard2\shard21\data -logpath D:\shard2\shard21\log\shard21.log
shard22
\bin>mongod --shardsvr --replSet shard2 -port 4009 -dbpath D:\shard2\shard22\data -logpath D:\shard2\shard22\log\shard22.log
步骤三:配置分片(shard1和shard2)集群
3.1进入到shard1集群任何一个节点中
3.2进入到shard1集群任何一个节点中
现在,shard的两个集群已经配置好了.
步骤四:部署config server
4.1环境准备
值得注意的是:在 MongoDB 3。4 版本后 config 服务必须配置为 副本集,这里设置为一主一从。
config实例 | 端口 | 数据路径 | 日志路径 |
config(1)(主) | 4002 | D:\config\config1\data | D:\config\config1\log |
config(2)(从) | 4003 | D:\config\config2\data | D:\config\config2\log |
接下来为每个config文件添加bin,date,log。
4.2启动config server
启动config1
\bin>mongod --configsvr --replSet confset -port 4002 -dbpath D:\config\config1\data -logpath D:\config\config1\log\conf1.log
启动config2
\bin>mongod --configsvr --replSet confset -port 4003 -dbpath D:\config\config2\data -logpath D:\config\config2\log\conf2.log
不要关闭 cmd 窗口,最小化即可 !
步骤五:配置config server集群
进入任何一个配置服务器的节点初始化配置服务器的群集
步骤六:部署路由服务器 Route Process
6.1创建专门的文件夹存放日志
6.2在进入 数据库 bin 目录中 启动 cmd
D:\MongoDB\bin>mongos --configdb confset/localhost:4002,localhost:4003 -logpath D:\mongos\log\mongos.log -port 4000
mongos是MongoDB的一个组件,作为查询路由器,其主要功能如下:
- 路由请求:将客户端的请求转发到对应的MongoDB服务器。
- 负载均衡:将请求均匀分配到各MongoDB节点,提高性能。
- 数据分片:将数据分散存储在多个节点上,提升查询性能
步骤七:配置分片信息
bin 目录下使用 MongoDB Shell 登录到 mongos
添加 Shard 节点
mongos> sh.addShard("shard1/localhost:4006,localhost:4007")
添加 Shard 节点
mongos> sh.addShard("shard2/localhost:4008,localhost:4009")
步骤八:测试分片
登入路由(4000) 端口
指定要分片的数据库,以下指令指定分片数据库为test
mongos> sh.enableSharding("test")
指定数据库里需要分片的集合和片键,片键根据实际情况选择
mongos> sh.shardCollection("test.c1",{"id":"hashed"})
插入10000条数据验证,数据必须包含分片键:id
查看分片状态
输入sh.status() 查看分片集群状态
两个shard都有数据分布,说明分片成功!
至此,mongodb的分片部署就完成了。