技术分享 | MongoDB 分片节点同时作为chunk migration的源端和目标端导致迁移失败

MongoDB 常见问题汇总及解决方法(持续更新ing) mongodb常见问题汇总及解决方法。 阅读详情

作者:余朝飞


背景

  • 某客户反馈某个MongoDB Sharding集群中,各个分片节点chunk分布严重不均衡,且每天晚上在迁移窗口(activeWindow)进行chunk迁移操作在日志均报错失败,需要分析原因。

 

影响面

  • 各分片节点数据严重倾斜,数据无法自动均衡。

 

环境

  • MongoDB版本: 3.4.9

  • 分片节点: 3个mongos节点,三个config server节点,后端三个分片节点,分片副本集名称分别为shard1、shard2和shard3。 

 

问题定位思路及流程

  • 查看sh.status()输出,因修改部分表名和集合名;

从sh.status()的输出中可以发现db01_xxx库中col01_xxxx_info和col01_xxxx_info_2019在后端各个shard的chunk数量已经严重不均衡,前者chunk数量之差47470-43068为4402个chunk,后者37053-29为37024个chunk,遇到这种情况,第一反应是看config primary的日志,MongoDB默认情况会开启balancer进程在各个shard之间迁移chunk来让shard间的chunk数量基本保持一致,chunk迁移的方向是从chunk数量最多的分片往chunk数量最少的分片迁移,在3.2版本及以下,balancer进程由Mongos发起,如果有多个Mongos进程,多个Mongos会竞争一把锁,谁获得锁谁就将获得运行balancer进程的权限,但是在3.4版本及以后,balance进程已经放在了config server的Primary节点,这样就不会有锁竞争这一过程了,查看config primary的在迁移窗口的日志有大量如下报错:

2019-05-27T00:04:06.140+0800 I SHARDING [Balancer] Balancer move db01_xxx.col01_xxxx_info_2019: [{ col01_column_1: "3177000047924787", sharedDate: new Date(1546561546000) }, { billingContractNo: "3177000049293528", sharedDate: new Date(1548383450000) }), from shard2, to shard1 failed :: caused by :: ConflictingOperationInProgress: Unable to start new migration because this shard is currently donating chunk [{ col01_column_1: "3177000525560227", sharedDate: new Date(1527215797000) }, { col01_column_1: "3177000525560227", sharedDate: new Date(1527217436000) }) for namespace db01_xxx.col01_xxxx_info to shard3

从日志得到以下信息:

1. 存储col01_xxxx_info_2019集合的chunk的迁移方向是从shard2往shard1迁移,shard2 chunk数量最多,shard1数量最少,现象符合。

2. 存储col01_xxxx_info集合的chunk的迁移方向是从shard1往shard3迁移(donating chunk),shard1数量最多,而shard3 chunk数量最少,现象符合。

3. 第1点失败的原因是第二点,原因是自动迁移的进程产生了冲突(ConflictingOperationInProgress)并等待,从而导致迁移失败。

该现象与MongoDB已知的BUG现象基本一致,该BUG表示当存在多个集合的自动的数据均衡操作时,分片节点不能同时作为源端和目标端,BUG链接为:Sharding balancer schedules multiple migrations with the same conflicting source or destination[链接1](相关链接见文末)

 

修复验证

  • 通过日志及相关信息可知,db01_xxx.col01_xxxx_info集合的数据较为均衡,可临时通过以下命令将该集合的自动Balancer停用,防止db01_xxx.col01_xxxx_info_2019做数据迁移时出现冲突,相关命令如下:

// 禁用自动balance
sh.disableBalancing("db01_xxx.col01_xxxx_info");

// 启用自动balance
sh.enableBalancing("db01_xxx.col01_xxxx_info");

 

结论

1. MongoDB balancer进程启动后,通常会在两种情况下来决定是否要做迁移使用 removeShard后分片数量发生了变化会做自动迁移;

通过对比持有chunk最多和最少的shard, 集合的chunk数量在各个后端shard之间的数量达到一定的差值时会触发自动迁移,迁移阈值[链接2](相关链接见文末)如下:

集合chunk数量迁移阈值
<202
<804
>=808

2. 该BUG在MongoDB 3.4.11版本以下会触发,3.4.11及以上版本,3.6版本均已修复,因此要想解决此问题需要将集群升级到3.4.11版本以上。

 

相关链接

  • [链接1] https://jira.mongodb.org/browse/SERVER-29423

  • [链接2] https://docs.mongodb.com/manual/core/sharding-balancer-administration/#migration-thresholds 

SCVMM集群间虚拟机迁移失败问题的解决方案 通过SCVMM,管理员可以轻松地管理和迁移虚拟机,以实现资源的高效利用和灵活性。然而,有时候在使用SCVMM进行跨集群迁移虚拟机时,可能会遇到失败的情况。本文将介绍一些可能导致跨集群迁移失败的常见问题,并提供相应的解决方案和源代码示例。在跨集群迁移过程中,虚拟机的磁盘文件需要在源和目标集群之间进行传输。因此,源集群和目标集群之间的存储必须能够互通。在进行跨集群迁移时,源集群和目标集群之间的网络连接必须是正常的。在进行虚拟机迁移时,源和目标集群之间需要足够的计算和存储资源来支持迁移过程。 阅读详情

相关推荐

mongodb-migrations:MongoDB的数据库迁移工具

mongodb迁移 MongoDB是一个很棒的NoSQL和无模式数据库,但是如果数据库中已经有数据并且您更改了数据模式,则需要一个迁移工具来更新现有数据。 如何安装 使用pip $ pip install mongodb-migrations 从源代码 $ python setup.py install 如何使用它 创建一个名为migrations的折叠 创建一个名称为TIMESTAMP_description.py的python文件,即20160320145400_description.py ,否则将找不到迁移文件。 在20160320145400_description.py创建一个名为Migration的类并扩展BaseMigration 实施upgrade方法 使用cli mongodb-migrate运行迁移 metastore是集合名称的可选参数,用于存储先前的迁移

技术分享 | MongoDB 分片节点同时作为chunk migration的源端和目标端导致迁移失败...

原创:余朝飞 背景 某客户反馈某个MongoDB Sharding集群中,各个分片节点chunk分布严重不均衡,且每天晚上在迁移窗口(activeWindow)进行chunk迁移操作在日志均报错失败,需要分析原因。 影响面 各分片节点数据严重倾斜,数据无法自动...

chiweiliu4439的博客 410

DEAP数据集实战指南:从脑电信号到情绪分类的完整流程解析

本文提供了DEAP数据集在脑电信号情绪识别领域的完整实战指南。详细解析了数据下载、结构理解、频带功率特征提取等核心步骤,并演示了如何构建和评估机器学习分类模型,为研究者实现从原始脑电信号到情绪分类的完整流程提供了清晰路径。

jj890的博客 916

MongoDb move chunk失败分析和处理(SERVER-5351)

MongoDb move chunk 故障分析和处理

菠萝生炒骨炝炒土豆丝 3660

3D Slicer:从入门到精通(二)——入门指南

本篇文章包含开始使用3D Slicer所需的信息,包括如何安装和快速开始使用基本功能,以及在哪里找到更多信息。

walt3433的博客 2万+

从网口变压器到TVS管:手把手设计通过4KV浪涌的以太网电路

本文详细解析工业级以太网接口4KV浪涌防护设计,从网口变压器选型到TVS管布局,提供通过IEC61000-4-5标准测试的完整方案。重点介绍Bob Smith电路优化和PCB设计技巧,帮助工程师有效应对雷电感应和设备开关瞬态干扰,确保工业设备稳定运行。

study的专栏 292

MongoDB Sharding

MongoDB ShardingSharding结构replica setmmapChunk的分裂和迁移Chunk的分裂Chunk的迁移 Sharding结构 转载自https://www.it610.com/article/5487366.htm 从图中可以看出,MongoDB sharding 主要分为 3 大部分。shard 节点、config 节点和 mongos节点。对客户端来说,直接访问的是 图中绿色的 mongos 节点。背后的 config 节点和 shard 节点是客户端不能直接访问的。

MoriingRain的博客 2670

Unity海康视屏对接

通过对接海康SDK,获取视屏流回调。经过解码得到YUV格式的图片,最后通过Shader把YUV数据显示出来。也可以通过Rtsp协议,直接获取视屏流显示。这个貌似Unity中已经有插件支持了,UMP。------2018.4.20using UnityEngine;using System.Collections;using System;using UnityEngine.UI;using Sys...

Witness_K的博客 2028

MongoDB复制集同步慢问题分析

  案例一 一、问题背景 最近生产环境出现多次Primary写入QPS太高,导致Seconary的同步无法跟上的问题(Secondary上的最新oplog时间戳比Primary上最旧oplog时间戳小),使得Secondary变成RECOVERING状态,这时需要人工介入处理,向Secondary发送resync命令,让Secondary重新全量同步一次。 二、同步过程 下图是Mongo...

A_man_only的专栏 3534

《最游记》游戏开发全栈指南:从源码解析到实战部署

本文提供了一份详尽的《最游记》游戏源码全栈开发指南。文章深入解析了这款3D玄幻网游的完整源码结构,涵盖客户端、服务端、引擎和工具链,并提供了从环境搭建、核心模块解析到实战修改与部署的完整流程。对于希望深入理解MMORPG架构的开发者而言,这份指南是宝贵的实战资源。

weixin_28363123的博客 75

手把手教你用Three.js+Vue打造3D机房可视化系统(附完整代码)

本文详细介绍了如何使用Three.js与Vue 3构建企业级3D机房可视化系统。从技术选型、项目架构设计到3D场景构建、设备建模与渲染策略,提供了完整的开发方案和实战代码。重点讲解了如何实现设备状态实时监控、交互操作与性能优化,帮助开发者快速掌握3D可视化开发的核心技术。

ttt77的博客 321

mongdb shard搭建遇到的问题总结

搭建的集群为两个replset 分片,3个configsrv,3个mongos: 搭建set和configsrv都没遇到什么问题,在搭建mongos时就遇到一个问题,在网上找了很多资料都没有详细说明; 具体错误如下: Mon Jul  8 22:14:35 ERROR: config servers xxx1:8100 and xxx2:8100 differconfig servers x

回南山种豆的专栏 1636

同济土木非0基础三个月跨考复旦计算机攻略

跨考cs攻略前言我cs专业课如何复习How to start from zero简历其他复试 前言 建议多去工地/化工厂涡轮增压一下 我 同济土木gpa 3.2/5 挂科 * n 辣鸡项目 * n (padding 简历) 21考复旦计算机专硕 10月-12月 学习+复习 总分392 政治 68;背肖4即可 英语二 78 裸考,(高考英语140+);做点真题,建议据自己情况准备 数学二 142 ;(高考数学接近满分);做真题+模拟题,每天写一张试卷 专业课 104 ,考试生病了,下文展开。 cs专业课

piglake的博客 7238

数据库选型决策框架:从数据DNA到六大核心维度

数据库选型本质是理解数据的固有属性——即数据是否具有强关系、变更频率如何、读写比例怎样、一致性要求多高、查询模式为何。这决定了关系型与非关系型数据库的适用边界,也解释了为何MySQL适合金融交易而MongoDB更适配用户行为日志。技术价值在于规避性能瓶颈、保障数据一致、降低长期运维成本;典型应用场景涵盖高并发电商、IoT时序数据、实时风控、CMS内容管理等。本文基于真实生产流量建模,聚焦‘数据行为图谱’与‘六大决策维度’,提供可落地的选型路径。

752

【用unity实现100个游戏之2】复刻实现经典2d平台跳跃游戏《蔚蓝 Celeste》(附工程源码)

蔚蓝》是一款备受好评的独立游戏,由游戏开发工作室开发并由发行。这款游戏于2016年首次发布,并在玩家和评论界收获了广泛赞誉。蔚蓝以其独特的艺术风格和引人入胜的故事而著称。游戏以深海为背景,玩家将扮演一个能够探索水下世界的神秘生物。游戏通过惊人的视觉表现和动态的海洋生态系统为玩家带来了令人难忘的游戏体验。无论是广阔的水下景观还是充满生机的海洋生物,蔚蓝都让玩家感受到深海的神秘和美丽。蔚蓝在玩法上注重探索和解谜。玩家可以在海底环境中自由游动,发现隐藏的地点和秘密,与各种生物互动,并解决环境谜题以继续前进。

向宇的博客,专注php/web全栈 unity游戏开发,欢迎大家评论纠错 4172

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

mongo数据迁移

1.数据备份 使用mongodump进行mongo数据库备份: 命令:mongodump --host localhost -u root -p root123@AVMOS -d vlog -o /root/dump --authenticationDatabase admin 参数解释: –host: 服务器名称或IP:PORT -u: 用户名 -p: 密码 -d: 数据库dbname -o:导出文件的存放路径 –authenticationDatabase admin: 添加–authenticati

wangying202的博客 3575

怀旧版电脑GBC模拟器

再现原版GBC掌机的界面,电脑运行连游戏界面都一样大小,很怀旧,很真实,(英文版)强烈推荐,很小的文件,很难才找到的。

KVM热迁移虚拟机报错

kvm热迁移动态迁移报错Connection timed out

shoujoai的博客 1013

Probability and Statistics - 4th edition

Probability and Statistics - 4th edition

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

mongos数据分布不均匀,move chunk失败

现象 2018-02-06T14:41:05.130+0800 I SHARDING [Balancer] moveChunk result: { cause: { ok: 0.0, errmsg: "can't accept new chunks because  there are still 1236 deletes from previous migration" }, ok: 0.0,

cug_jiang126com的专栏 1652

MongoDB 3.4 高可用集群搭建(四)—— 分片

按照上一节中《MongoDB 3.4 高可用集群搭建(三)深入副本集内部机制》搭建后还有两个问题没有解决: 从节点每个上面的数据都是对数据库全量拷贝,从节点压力会不会过大? 数据压力大到机器支撑不了的时候能否做到自动扩展? 在系统早期,数据量还小的时候不会引起太大的问题,但是随着数据量持续增多,后续迟早会出现一台机器硬件瓶颈问题的。而mongodb主打的就是海量数据架构,他不能解...

weixin_34388207的博客 782

windows环境下mongodb 5.0.9分片集群环境搭建

windows环境下mongodb 5.0.9分片集群环境搭建

liaomingwu的专栏 1399

mongodb3.4版本 副本集+分片配置

使用了2台服务器 副本集:rs0 62: 27100 主 69: 27100 从 27200 仲裁 ----------------------------------------------------------------------- 分片: 62: 28000 30000 路由 69: 28000 30000 confServer ----------------------...

三丰的博客 487

Mongodb分片简易搭建

Mongodb分片简易搭建 环境配置 操作系统:CentOS Linux release 7.3.1611 (Core) 数据库系统: Mongodb 3.4.9-1.el7 ip:192.168.103.100 port: node1:26001 node2:26002 node3:26003 实际操作 创建csrs_1.conf Configuration file f...

sunbocong的博客 579

实战 MongoDB 分片及在线调整

目录 一、原环境架构初步调整 二、部署/升级/维护方法(新方案将废除) 三、移除 Shard Server 四、新环境架构 1、搭建了一个有六个 config server,六个 shard 的 sharded cluster,其中每一个 shard 包含三个节点的 replica set,且都包含一个 Arbiter 2、MongoDB Sharding Balancer 介绍和设置...

SHOWufei 1793

强大的MongoDB迁移工具:mongodb-migrations

强大的MongoDB迁移工具:mongodb-migrations 在开发数据库驱动的应用时,数据模型的演变是必不可少的。如何优雅地管理和执行数据库迁移?mongodb-migrations为你提供了答案。这是一个专为MongoDB设计的Node.js迁移框架,它既支持命令行接口(CLI),也支持编程式API。 项目介绍 mongodb-migrations是一个轻量级的解决方案,用于帮助开发者在...

gitblog_00061的博客 537

migrate-mongo实现对mongo数据库执行脚本版本控制

migrate-mongo实现mongodb数据库执行脚本版本控制落地

a910196454的博客 753

mongo——拆分子节点&数据类型转换&根节点替换

拆分子节点&数据类型转换     我们知道mongo的某个元素是list,我们可以通过unwind把每个子元素拆解出来,然后再通过group可以很方便的对原本的list进行一个聚合操作,但是如果我们的元素的子节点是还是多个普通元素呢,就不能直接 通过unwind将每个子节点进行拆分。这个时候我们需要通过$objectToArray方法,将多个子节点转换成多个list元素,eg: db.finance_pay_daily.aggregate() .match({time:{$gte:ISODa

qq_30095631的博客 474
上一篇: 技术分享 | 克隆:更优雅的创建 MySQL 实例副本
下一篇: 技术分享 | 关于隐式的临时表导致磁盘空间耗尽的问题分析
爱可生开源社区
博客等级 码龄8年 1938粉丝 1004原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值