mongodb的sharding

本文介绍了在MongoDB集群中遇到的Shard数据不平衡问题及解决方案。通过手动操作和脚本方式重新分配Chunk,实现了负载均衡。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

         一开始我们使用的是5台机器来搭建mongodb的sharding的,一台作为config,gateway和客户端,4台作为server。这种情况下系统分布非常均匀。由于系统数据增长的非常快,4台数据已经不能满足,决定增加3台server。使用db.runCommand( { addshard : "172.16.0.1:27017" } );命令很快的就增加了3台shading。

         我们的系统是每天会导入数据,每天采用一个新的collection来存放数据的。结果我第二天来的时候发现新的一天的数据全部集中在shard0000上,这样子整个系统的数据不是快了,而是更慢了。这样下去不行,要挨批了。只能拼命处理。找到所有的chunk,将chunk数比较的server上的chunk移动到chunk数比较少的server上。

         useconfig

         db.chunks.find({“ns”:”XXXX”})

         useadmin

         db.runCommand({moveChunk: "XXXX", find : { "ci" : "123456" }, to :"shard0001"})

         这样一条一条的命令来执行,把chunk分发到其他的server上,这个方法只能治标不能治本,只能是数据不均匀了之后来处理。而且chunk上数据量比较多的话,移动起来很慢,影响了系统的性能。Balance一直没有恢复,反正就是我增加了机器之后sharding死活不能balance了,google了一把也没有找到原因(mongodb是1.8.2版本)。

         每天手工处理也不行,只好写一个脚本,在建立collection,还没有插入数据的时候执行手工balance。手动建立chunk,手动将chunk移动到各个server上去。参见http://www.mongodb.org/display/DOCS/Splitting+Chunks

         db.runCommand({ split : "XXXX" , middle : { "ci" : "123456" } })

         db.runCommand({moveChunk: "XXXX", find : { "ci" : "123456" }, to :"shard0001"})

         目前只好采用这种土办法来自动balance了。


### MongoDB 分片实现与最佳实践 #### 什么是分片? 分片是指将数据水平分割成较小的部分并分布到多个服务器上的过程。通过这种方式,可以显著提高系统的可扩展性和性能[^1]。 #### 如何配置分片集群? 为了设置MongoDB分片环境,通常需要三个主要组件: - **配置服务器**:存储有关整个集群元数据的信息。 - **查询路由器 (mongos)** :作为客户端应用程序访问分片数据的接口。 - **分片节点**:实际保存被切分的数据副本集实例。 创建一个简单的两成员复制集,并将其注册为新的shard之前,应该先启动至少一台`mongos`路由服务以及三台用于管理状态信息的config server。之后就可以利用admin数据库下的addShard命令来增加新加入的资源了[^3]。 ```bash # 启动 mongos 路由器 mongos --configdb <replica-set-name>/<host1>:<port>,<host2>:<port> # 添加 shard 到集群中 use admin; sh.addShard("<hostname_or_ip_of_shard_member>:<port>") ``` #### 数据库集合启用分片功能 一旦建立了基本架构,则可以通过指定特定字段作为键来进行更细粒度的操作——即开启某个collection级别的共享支持;这一步骤同样是在全局性的Admin命名空间下完成的。选择合适的shard key对于优化读写效率至关重要,因为它决定了文档如何分布在不同的物理位置上。 ```javascript // 开启 collection 的 sharding 支持 sh.enableSharding("yourDatabaseName"); // 对具体表应用 Shard Key sh.shardCollection( "yourDatabaseName.yourCollectionName", { "_id": "hashed" } // 使用哈希方式分配记录 ); ``` #### 最佳实践建议 当设计和部署基于MongoDB的应用程序时,遵循一些指导原则可以帮助确保良好的表现力和服务质量: - 尽量选取具有高基数特性的属性作为shard key候选者; - 预估未来增长趋势合理规划初始硬件资源配置; - 定期监控系统健康状况并对瓶颈做出及时响应调整; - 测试不同场景下的事务处理能力以验证稳定性[^4]。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值