mongodb chunk 大小设置

最新推荐文章于 2024-06-16 16:23:33 发布

weixin_34228662

最新推荐文章于 2024-06-16 16:23:33 发布

阅读量1.3k

点赞数

文章标签：数据库

本文深入探讨了在MongoDB分片集群中调整chunksize参数的策略及其对性能指标如数据跨shard数目、网络传输次数、查询速度等的影响。通过实例分析，指导如何根据数据量大小、硬件条件等因素选择合适的chunksize，以优化系统性能。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

默认是64MB，取值范围是1 MB 到 1024 MB.

那改动会造成什么？下表简单总结：

chunk size 调节	splitting次数(碎片数)	数据跨shard数目	数据均匀	网络传输次数	migration次数	单次migration 传输量	查询速度
变大	降低	变少	不太均匀	变少	变少	变大	变快
变小	增多	变多	更均匀	变多	变多	变小	变慢

在数据量非常大的情况下，考虑网络带宽，假设发现带宽占满，能够考虑调小chunk size，这样migration造成的传输量会降低

在server硬件非常好的情况下，比方我的servercpu 24 core, memory 128 GB, disk 96 TB. 考虑调大chunk size。降低不必要的分片。

详细设置就是使用命令，不要用配置文件。參考官方文档：

http://docs.mongodb.org/manual/tutorial/modify-chunk-size-in-sharded-cluster/

关注博主即可阅读全文

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

weixin_34228662

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

spring batch数据迁移时chunk size设置的问题

topdeveloperr的博客

06-12

7074

背景信息从一个数据库向另一个数据库迁移数据 migrate的实现使用了spring batch，通过分页的reader读数据，分页大小为500，每一个step的chunk size设置为了500，定义大致如下: .listener(new BPStepListener(tenant)) .transactionManager(new DataSourc...

kaldi参数研读

weixin_42831564的博客

11-02

1709

1.cmd=“queue.pl -q all.q” && gpu_cmd=“queue.pl -q g.q” 使用sge集群，制定所使用的sge集群的queue为all.q, 一般all.q 会包含所有的主机 queue.pl -q g.q, 使用GPU https://blog.youkuaiyun.com/huchad/article/details/52189726 https://...

参与评论您还未登录，请先登录后发表或查看评论

mongodb分片经验谈

Evan's learning log

02-10

1092

1、mongo节点最大存储空间的设置通过maxSize这个参数和控制节点的最大存储空间，这个字段的单位是M，根据经验，如果你要分配了500G硬盘给mongo使用，maxSize请分配230 - 240，即小于总大小的一半，目前还不知道原因，在占用磁盘空间的效果，目前来看是这个样子。 a.添加节点时设置 db.runCommand( { addshard

MongoDB分片（Sharding）技术

weixin_30606461的博客

04-18

247

分片（sharding）是MongoDB用来将大型集合分割到不同服务器（或者说一个集群）上所采用的方法。尽管分片起源于关系型数据库分区，但MongoDB分片完全又是另一回事。和MySQL分区方案相比，MongoDB的最大区别在于它几乎能自动完成所有事情，只要告诉MongoDB要分配数据，它就能自动维护数据在不同服务器之间的均衡。 2.1 MongoDB分片介绍 2.1.1 分片的目的　...

MongoDB~分片数据存储Chunk；其迁移原理、影响，以及避免手段

最新发布

Shangxingya的博客

06-16

2195

Chunk（块）是 MongoDB 分片集群的一个核心概念，其本质上就是由一组 Document 组成的逻辑数据单元。每个 Chunk 包含一定范围片键的数据，互不相交且并集为全部数据。如上图，假设集合的shardKey x（以范围分片为例，哈希分片类似），写入该集合的文档根据其x的取值范围，会被分散到chunk1到chunk4中，每个chunk只包含特定范围的数据（比如chunk2就只包含x的取值在[-75, 25)范围内的文档），

Mongodb GridFS 修改chunk size

learningJavachuxue的博客

08-22

2522

一、概述 GridFS是基于mongodb存储引擎是实现的“分布式文件系统”，底层基于mongodb存储机制，和其他本地文件系统相比，它具备大数据存储的多个优点。GridFS适合存储超过16MB的大型文件，不过16M数据在当今互联网时代，已经不足为奇。我们可以使用GridFS构建大规模的“图片服务器”、“文档服务器”、“视频、音频”文件服务器，GridFS对于web应用，可以结合ngin...

17.Mongodb预分片(pre-split)/autosplit(chunk/jumbochunk相关)

mijichui2153的博客

11-25

2068

一、为什么要预先分片有的时候mongodb的读写量并不是很大，但是cpu负载相对较高；另外有时候在迁移数据的时候发现整体的进度好慢。这个时候可能就需要留意两种情况了：一个是mongodb是否频繁的balance；另一个是否有频繁的split操作。通过手动预分片我们可以尽量的避免这种频繁balance和split对cpu和IO资源的消耗。二、chunk数以及chunk范围等的查看看还是那句话，建立反馈机制非常重要。最理想的情况就是你的每一个操作都有迹可循、都......

MongoDB ·sharding chunk 分裂与迁移详解

snowyar的专栏

03-19

1550

写入数据时，当 chunk 上写入的数据量，超过分裂阈值时，就会触发 chunk 的分裂，chunk 分裂后，当出现各个 shard 上 chunk 分布不均衡时，就会触发 chunk 迁移。如果使用 range 分片，因为 shardKey 的取值不确定，预分片意义不大，很容易出现部分 chunk 为空的情况，所以 range 分片只支持 hash 分片。mongoDB 的自动 chunk 分裂只会发生在 mongos 写入数据时，当写入的数据超过一定量时，就会触发 chunk 的分裂，具体规则如下。

MongoDB 分片Sharding 方案及 chunks块和片键分析

热门推荐

irelandken的专栏

09-21

2万+

-------------------------------------------------------------------------------- 0,创建3个Shard Server //创建数据库，日志文件 [root@localhost ~]# mkdir -p /data/shard/s0 [root@localhost ~]# mkdir -

Java面试系列-MongoDB

DeveloperFire的博客

01-28

824

MongoDB是面向文档的NoSQL数据库，用于大量数据存储。MongoDB是一个在2000年代中期问世的数据库。属于NoSQL数据库的类别。以下是一些为什么应该开始使用MongoDB的原因面向文档的–由于MongoDB是NoSQL类型的数据库，它不是以关系类型的格式存储数据，而是将数据存储在文档中。这使得MongoDB非常灵活，可以适应实际的业务环境和需求。临时查询-MongoDB支持按字段，范围查询和正则表达式搜索。可以查询返回文档中的特定字段。索引。

MongoDB Replica Sets + Sharding 方案及 chunks块和片键分析

irelandken的专栏

09-21

6130

以下就是我们将要搭建的mongdb集群架构创建第一个replset --------------------------------------------------------------------------------------------------------------------------------------------------- 创建目录 mk

Mongodb GridFS——适合大小超过16MB的文件

djph26741的博客

03-03

1553

mongoDB 集群配置

你是我一生的追求

08-07

342

1.mongoDB 集群配置和分片配置分片失败（设置chunkSize的大小） 2.集群里的内部授权使用配置的位 auth=true keyFile=XXX（3.4版本的配置） 3.分片配置插入一个集合100w条的数据，分片查询是在一个share里，分片配置失败集群，在一个mongoDB里新建数据和数据表会同步到其他集群https://www.jb51.net/article/121019.h...

http报文中chunked分块编码传输格式分析及c语言解压实现

呜呜哈的博客

11-26

8844

前面有一篇文章是关于使用zlib库函数解压以gzip压缩方式传输的http报文。里面提到了chunked分块传输格式，现在由于项目需要，做了这部分的研究，现在把成果记录下来。首先介绍一下chunked分块传输格式。对于一般的http报文，使用Content-Length字段标明报文长度，但是对于那些无法事先确定报文大小的网页而言，就只能使用chunked编码方式。对于这种方式的报文，一般会使用t

tcpip数据包编码解析（chunk and gzip）

yaneng的专栏

07-25

6334

tcpip数据包编码解析（chunk and gzip）做tcpip协议栈数据包重组时遇到一些编码问题，主要是chunk和gzip编码。先看chunk：RFC2616中对Chunked的定义：Chunked-Body = *chunklast-chunktrailerCRLFchunk = chunk-size [ chunk-extension ] CRLFchunk-da

mongodb修改chuck大小

07-27

根据引用\[1\]中的示例，要修改MongoDB的chunk大小，可以使用以下命令: ``` db.settings.save({_id:'chunksize',value:'新的chunk大小'}); ``` 其中，将"新的chunk大小"替换为你想要设置的新的chunk大小的值。保存后，可以使用以下命令来验证修改是否成功: ``` db.settings.find({_id:'chunksize'}); ``` 这将返回一个文档，其中"_id"字段为"chunksize"，"value"字段为你设置的新的chunk大小的值。 #### 引用[.reference_title] - *1* *2* *3* [（10）mongodb 分片](https://blog.youkuaiyun.com/weixin_30454481/article/details/99107262)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]