17.Mongodb预分片(pre-split)/autosplit(chunk/jumbochunk相关)

焱齿

已于 2025-01-14 11:33:29 修改

阅读量2k

点赞数 3

分类专栏： mongodb 文章标签： mongodb

于 2021-11-25 15:58:06 首次发布

本文链接：https://blog.youkuaiyun.com/mijichui2153/article/details/121537047

版权

本文详细介绍了MongoDB的预分片策略，包括为什么要预分片，如何查看chunk信息和jumbo chunk情况，以及如何调整chunk大小和预分片操作。重点讨论了范围分片和hash分片下的预分片方法，并提醒了jumbo chunk可能带来的性能瓶颈和管理策略。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

可以参考分片集群的介绍这里

关于balancer的介绍(split对性能影响的测试) 这里

零、使用经验

问题一、预分片的话chunk数如何确定？

目前有40亿条数据，长期来看要存200亿+数据；每条数据0.5KB；现在总共是分了1000个集合。200亿数据均分下去的话每个集合存2000万条数据，存储占用为1000万KB=10000M。chunk数=10000M/64M = 156个。考虑到倾斜numInitialChunks为200即可。以这个依据决定预分片是大致合理的。

注：哈希分片才能用numInitialChunks，如果是范围分片的话，则需要手动splitAt

问题二、jumbo chunk带来的问题。

①如果这些jumbo chunk是高频访问的，就会引起但shard的性能瓶颈；②另外就是chunk无法迁移，会引起shard间的是数据不均匀。(很好理解,就是这个分片的数据太多了会有瓶颈）

不过头4.4+之后可以通过设置来使得jumbo chunk可以被移动(这里)，一定程度能缓解其带来的问题(例如:一个shard上有好多个jumbochunk,至少可以移动一部分到其他shard上去了)。但是总的来讲还是要尽量避免jumbo chunk产生的。

一、为什么要预先分片

有的时候mongodb的读写量并不是很大，但是cpu负载相对较高；另外有时候在迁移数据的时候发现整体的进度好慢。这个时候可能就需要留意两种情况了：一个是mongodb是否频繁的balance；另一个是否有频繁的split操作。通过手动预分片我们可以尽量的避免这种频繁balance和split对cpu和IO资源的消耗。

二、chunk数/chunk范围/jumbochunk的查看

还是那句话，建立反馈机制非常重要。最理想的情况就是你的每一个操作都有迹可循、都能看到操作前后的不同。

(1)sh.status() 查看chunk的信息 (考虑到输出信息太多,所以不是很推荐)

我们可以通过sh.status()查看各个集合分片情况，包括是否分片(分片键/分片方式等信息)、balancing是否打开、chunks的信息(包括每个分片有多少chunks/每个chunks的起止范围)。如下图所示：

(2)通过config库的chunks表查看chunk信息(推荐)

#很简单。看一下其中的数据组成就知道怎么看了
db.chunks.find().pretty()

{
        "_id" : "db_imsdk_roaming.collection_11-appid_MinKey",
        "ns" : "db_imsdk_roaming.collection_11",
        "min" : {
                "appid" : { "$minKey" : 1 }
        },
        "max" : {
                "appid" : NumberLong("-6148914691236517204")
        },
        "shard" : "cmgo-g1ydokzz_0",
        "lastmod" : Timestamp(1, 0),
        "lastmodEpoch" : ObjectId("60ed93131763e87001393b56"),
        "history" : [
                {
                        "validAfter" : Timestamp(1626182419, 123),
                        "shard" : "cmgo-g1ydokzz_0"
                }
        ]
}


#筛选jumbo chunk,就可以看到有多少个jumbochunk了
use config
db.chunks.find({"jumbo":true})

想查看某集合的chunk情况执行如下指令就可以了:

db.chunks.find({ns:"db_pre_split.coll_0"})
#如果只想查看起止范围就指定min/max字段
db.chunks.find({ns:"db_pre_split.coll_0"},{min:1,max:1})
#如果只是想查看chunk数量就直接统计一把
db.chunks.find({ns:"db_pre_split.coll_0"},{min:1,max:1}).count()

(3)db.coll_name.getShardDistribution()

每个分片有多少chunk/预估每个chunk的文档数/预估每个chunk的存储占用等信息。

db.collection_event_track_986.getShardDistribution()

(4)查看chunk块大小的函数

AllChunkInfo = function(ns, est){
	var chunks = db.getSiblingDB("config").chunks.find({"ns" : ns}).sort({min:1}); //this will return all chunks for the ns ordered by min
	//some counters for overall stats at the end
	var totalChunks = 0;
	var totalSize = 0;
	var totalMsgNum = 0;
	var totalEmpty = 0;
	print("                     ChunkID,                             Shard,ChunkSize,ObjectsInChunk"); // header row
	// iterate o