mongo事务、分片、读写隔离级别

mongoDB分片部署 一.部署方式MongoDB 有三种集群部署模式,分别为主从复制(Master-Slaver)、副本集(Replica Set)和分片(Sharding)模式。1.Master-Slaver 是一种主从副本的模式,目前已经不推荐使用。2.Replica Set 模式取代了 Master-Slaver 模式,是一种互为主从的关系。Replica Set 将数据复制多份保存,不同服务器保存同一份数据,在出现故障时自动切换,实现故障转移,在实际生产中非常实用。 阅读详情

一、不同版本mongo事务对部署方式的要求

mongo从4.0版本开始支持事务,需集群部署,且具体版本对事务支持有差异,单机mongo不支持事务。

4.0~4.1:需副本集模式(replica sets)支持事务

≥4.2:副本集模式(replica sets)和分片集模式(sharded clusters)都支持事务

二、事务写冲突

使用mongo4.4事务时,发现并发情况下事务极易报写冲突异常(write conflict),导致回滚,mongo官方新的事务写法withTransaction已经处理该异常,但是看了下它的处理逻辑就只是不断重试(而且仔细看其写法有逻辑bug),该处理方式对于效率影响巨大,网上有人反馈过v4.2事务正常,升级v4.4后出现此问题。但是项目已经后期不能降版本,所以也未验证v4.2。该问题直接导致4.4事务基本不可用,仅在少数非并发或效率要求低的场景可用。

三、读偏好ReadPreference

优先级:事务级>会话级>客户端级,客户端默认primary(其他参数优先级同此)

指定读取操作从副本集读取的方式。

可设置以下级别:

primary:默认。所有操作均从主节点读取。

primaryPreferred:优先从主节点读取,主节点不可用时从次级节点读取。

secondary:所有操作均从次级节点读取。

secondaryPreferred:优先从次级节点读取,次级节点不可用时从主节点读取。

nearest:根据指定的延迟阈值,操作从随机合格的副本集成员中读取,无论该成员是主节点还是次节点。

四、读关注ReadConcern

指定从副本集和分片读取的数据的一致性和隔离属性。

事务支持:local、majority、snapshot三种读关注级别。

可设置以下级别:

local:当前实例返回。查询从实例返回数据不保证数据已写入大多数副本集成员(即可能回滚)。当读偏好为primary或者读偏好为secondary但因果一致性为true时,默认值为“local”。

available:任一可得的实例返回。查询从实例返回数据不保证数据已写入大多数副本集成员(即可能回滚)。当读偏好为secondary且因果一致性为false时,默认值为“available”。

majority:查询返回已被大多数副本集成员确认的数据。读取操作返回的文档是持久的,即使发生故障也是如此。为了满足读取关注“majority”,副本集成员在majority提交点从其内存数据视图快照返回数据。因此,读取关注 "majority"在性能成本上与其他读取关注相当。

需注意:仅当事务写关注也为“majority”时,读关注“majority”才提供数据保证。

linearizable: 查询返回在读操作开始之前完成的所有成功的多数确认写入数据。如遇并发执行的写入操作,查询会等待写入传播到多数副本集后再返回结果。

读取操作后如果多数副本集崩溃重启,此时如果writeConcernMajorityJournalDefault默认为true,则数据保证持久。如果writeConcernMajorityJournalDefault设为false,则写关注“majority”可能回滚。

对于因果一致性的会话和事务,linearizable不可用;读偏好为primary时,可设置读关注linearizable;

snapshot:如果事务要求因果一致性,在事务提交时写关注"majority",则保证事务操作从多数提交的数据的快照中读取。 如果事务不要求因果一致性,在事务提交时写关注"majority",则保证事务操作从多数提交的数据的快照中读取,且结果保证与事务开始之前数据的因果一致性相同。

五、写关注WriteConcern

指定了写入操作的确认级别,单机、副本集、分片集群都可以指定写关注级别。

可通过setDefaultRWConcern设置全局默认写关注级别(从mongoDB4.4开始)。

写关注需使用事务级的,不能在事务内为某个写操作单独指定写关注级别,会导致报错。

参数包括:

{ w: <value>, j: <boolean>, wtimeout: <number> }

w:数字—写入请求确认写入操作已传播到指定数量的节点(mongod实例)。

"majority"—请求请求确认写入操作已传播到计算出的多数节点。

其他自定义写关注名称—settings.getLastErrorModes中可自定义写关注条件。

j:指定写入请求是否确认已写入磁盘预写日志。true时会确保写入操作已经写入w指定数量节点的预写日志中。

wtimeout:指定写入操作超时时间(毫秒)。

需注意:到达wtimeout后无论写入最终能否成功都会返回错误,且已成功的写入修改不会回退;如果不指定wtimeout,且写关注级别无法满足,写入操作会一直阻塞。

六、shard分片

后续补充

360加固DEX解密与ELF修复技术解析 本文深入解析360加固的DEX解密与ELF修复技术,详细介绍了其多层保护机制、Java层入口分析、Native层加载流程及反调试绕过技巧。通过RC4和zlib解密技术,结合Frida工具实现内存Dump和ELF文件修复,为逆向工程师提供实用解决方案。 阅读详情

相关推荐

Qt·DBus快速入门

DBus快速入门

m0_64560763的博客 2273

MongoDB 事务

一直以来,是MongoDB一直被诟病的问题,当然也可以说这是NoSQL数据库的一种权衡(放弃事务,追求高性能、高可扩展)但实质上,MongoDB很早就有事务的概念,但是这个事务只能是针对单文档的,即单个文档的操作是有原子性保证的。在4.0版本之后,MongoDB4.0版本支持副本集范围的多文档事务。4.2版本支持跨分片的多文档事务(基于两阶段提交)。在事务的隔离性上,MongoDB支持快照snapshot的隔离级别,可以避免脏读、不可重复读和幻读。

程序猿进阶 3570

PCB激光直接成像(LDI)设备技术解析与优化方案

激光直接成像(LDI)是PCB制造中的关键数字化工艺,通过激光束直接在基板上形成电路图案。其核心技术在于高精度光学系统与智能控制算法的结合,工作精度可达微米级。在HDI板、柔性电路等高端PCB制造中,LDI技术能显著提升线宽精度和层间对位准确性。当前行业面临材料适配性、热变形控制等挑战,动态能量补偿、多波长曝光等创新方案正在突破这些瓶颈。随着模块化设计、预测性维护等工程实践的普及,LDI设备综合效率持续提升,为5G、汽车电子等领域的精密电路生产提供关键技术支撑。

weixin_29168393的博客 393

Mongodb支持事务吗?

MongoDB 是一个非关系型数据库管理系统,最初并不支持事务。然而,随着时间的推移,MongoDB 在其4.0版本中引入了多文档事务支持,使得在单个集合中执行多个操作成为可能。译文:在MongoDB中,对单个文档的操作是原子的。因为您可以使用嵌入式文档和数组来捕获单个文档结构中的数据之间的关系,而不是在多个文档和集合之间进行规范化,所以这种单文档原子性消除了许多实际用例中对多文档事务的需求。对于需要原子性地读写多个文档(在单个或多个集合中)的情况,MongoDB支持多文档事务。

Hanko的专栏 2084

FeynRules的上手使用3--运行

FeynRules的运行 接上两篇,在我们正确的设定模型参数和拉氏量之后,就可以运行FeynRules来推导费曼规则。 装载文件 首先需要设定FeynRules文件所在位置,并装载FeynRules模块: $FeynRulesPath = SetDirectory[ ] << FeynRules` 接下来是装载写好的模型文件: LoadModel[ < file.fr >, < file2.fr >, … ] 模型文件后缀为".fr",可以分几块构成。模型描述可以写在

cool_bot的博客 1075

ArcGIS Pro2.5深度学习使用注意事项

ArcGIS Pro2.5深度学习使用中的注意事项1、ArcGIS Pro2.5深度学习使用中的注意事项1.1、Label深度学习样本工具参数介绍1.2、准备数据参数介绍1.3、训练模型介绍1.4、ArcGIS Pro2.5深度学习推理工具和模型对应关系介绍1.4.1、Classify Objects Using Deep Learning1.4.2、Classify Pixels Using D...

GIS哼哈哈的博客 7201

mongo事务处理,发生“WriteConflict” 112报错解决方案(仅做记录,和转发,请勿点赞,非原创,后续会提炼其中原因)

情况1:来源(解决mongodb transaction WriteConflict问题 (copyfuture.com)https://copyfuture.com/blogs-details/20200430122415866zdb1b6k1jxfhtrk) 产生问题: 经过查询资料,发现上面的问题是由一个参数引起的maxTransactionLockRequestTimeoutMillis 这参数是事务锁最大等待事件(毫秒)官网链接(maxTransactionLockRequestTimeout

底层码农 4563

CAN 比特率和采样点计算

架构根据输入频率和比特率自动计算。

ldinvicible的专栏 787

MongoDB4.0 分片集群+复制集+读写分离详细搭建教程

最近由于要存储大规模结构化数据,想到了MongoDB的口号For giant ideas,于是假设了下图架构的一个mongoDB集群。 先说说选型的原因,结构化数据很多数据库都可以存储,最常用的是mysql,而且mysql的集群也屡见不鲜。比如mycat或者mysqlproxy这种数据库网关就可以放置在多个普通的mysql服务器前面,或者像腾讯退出的TDSQL这种商业版本也是有内置数据库网关的,...

lvshaorong的博客 7918

RT-DETR改进目录一览 | 涉及卷积层、轻量化、注意力、损失函数、Backbone、SPPF、Neck、检测头等全方位改进

1️⃣本专栏已更新260多种不同的改进方法,所使用并改进的每一个模块均包含详细的模块分析、原理讲解、个人总结、多种改进方式以及完整的修改流程,所有改进100%可直接运行。2️⃣所有改进点均为近三年顶会,顶刊提出的先进算法,将其融入到中,紧跟学术热点,适应不同的任务场景。3️⃣团队内发表数篇SCI论文,熟悉完整的发表流程,订阅专栏即可进群享受模型训练、模型改进、论文写作、投稿选刊,从入门到论文的各种答疑内容。4️⃣专栏内容会持续更新,最近更新时间:2024-12-4。项目介绍在大家购买专栏后,加入学习

Limiiiing的博客 2万+

传感器使用——ESP-WROOM-32 and INMP441麦克风音频采集

传感器使用——ESP-WROOM-32 and INMP441麦克风音频采集,数据显示及matlab操作界面。

qq_41958946的博客 7355

MongoDB多文档事务详解

原子性(atomicity):事务作为一个整体被执行,包含在其中的对数据库的操作要么全部被执行,要么都不执行。一致性(consistency):事务应确保数据库的状态从一个一致状态转变为另一个一致状态。一致状态的含义是数据库中的数据应满足完整性约束。隔离性(isolation):多个事务并发执行时,一个事务的执行不应影响其他事务的执行。持久性(durability):已被提交的事务对数据库的修改应该是永久性的。在MongoDB中,对单文档的操作是原子的。

qq_44027353的博客 1766

【ESP32设备通信】-两个ESP32间UART通信

在本文中,我们将使用 Arduino IDE 的 UART 硬件库在两个 ESP32 板之间执行 UART 或串行通信。 要使用 USB 端口调试和编程 ESP32,需要使用称为通用异步接收器/发送器 (UART) 通信的串行端口。 对于大多数传感器和系统,主要的通信方法被认为是 UART。 为了共享工作负载、信息和执行不同的任务,有时需要在两个 ESP32 开发板之间进行通信。

视觉与物联智能 2995

mongo 分片事务_MongoDB分片集群中的注意事项

MongoDB Manual (Version 4.2)> Transactions > Production Considerations (Sharded Clusters)本次我们将从以下几方面介绍分片集群中的注意事项。分片事务及MongoDB驱动性能Read Concerns读关注Write Concerns写关注仲裁者三成员 主-从-仲裁 分片备份回档块迁移提...

weixin_27153203的博客 719

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

mongo 分片事务_MongoDB事务操作

MongoDBManual(Version 4.2)>Transactions > Transactions and Operations本次我们将了解支持多文档事务的操作:CRUD 操作,count 操作,distinct 操作,信息操作以及限制的操作。对于事务来说:您可以在现有集合上指定读/写(CRUD)操作。其中集合可以在不同的数据库中。有关CRUD操作的列表,请...

weixin_42500426的博客 623

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

mongo 分片事务_MongoDB范围分片

MongoDBManual(Version 4.2)>Sharding > Ranged Sharding基于范围的分片会将数据划分为由片键值确定的连续范围。在此模型中,具有“接近”片键值的文档可能位于相同的块或分片中。这允许在连续范围内读取目标文档的高效查询。但是,如果片键选择不佳,则读取和写入性能均可能降低。请参阅片键的选择。如果未配置任何其他选项(例如哈希分片或区...

weixin_35853254的博客 583

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

mongo 事务

mongo 事务 MongoDB supports multi-document transactions: In version 4.0, MongoDB supports multi-document transactions on replica sets. In version 4.2, MongoDB introduces distributed transactions, which adds support for multi-document transactions on shar

面朝大海,春暖花开 1425

springboot mongodb分片集群事务

mongodb分片集群想要使用事务,需要对应分片没有仲裁节点。

weixin_44728369的博客 1536

mongo 分片事务_在MongoDB分片集群中拆分数据块chunks

MongoDBManual(Version 4.2)>Sharding > Data Partitioning with Chunks > Split Chunks in a Sharded Cluster通常,如果某个数据块超过最大块大小,则MongoDB会在插入后对数据块进行拆分。但是,在以下情况下,您可能需要手动拆分数据块:您的集群中有大量数据,并且只有很少...

weixin_30927801的博客 594

MongoDB 事务,复制和分片的关系

本文尝试对Mongo的复制和分布式事务的原理进行描述,在必要的地方,对实现的正确性进行论证,希望能为MongoDB内核爱好者提供一些参考。

华为云官方博客 2653

mongodb事务

对于需要对多个文档(在单个或多个集合中)进行原子性读写的情况,MongoDB支持多文档事务。时间戳,标识下⼀次重启后,从该位置重新同步,如果本步 骤之前失败,重启恢复时,会从 ApplyThrough。,MongoDB引入了分布式事务, 增加了对分片上的多文档事务的支持 集群并包含对 副本集上的多文档事务。可⻅时间戳,如果有其他节点从该备节点同步,此时就能读到这部分新写⼊的。划分到到多个线程并发重放,为了提升并发效率,事务产⽣的。的限制),包含事务⾥所有的操作,备节点拉取。,并在本地重放事务操作。

u012565458的博客 600

MongoDB基础入门到深入(六)多文档事务

事务(transaction)是传统数据库所具备的一项基本能力,其根本目的是为数据的可靠性与一致性提供保障。而在通常的实现中,事务包含了一个系列的数据库读写操作,这些操作要么全部完成,要么全部撤销。例如,在电子商城场景中,当顾客下单购买某件商品时,除了生成订单,还应该同时扣减商品的库存,这些操作应该被作为一个整体的执行单元进行处理,否则就会产生不一致的情况。

秃了也弱了 1286

Mongo 异步客户端 Motor 事务

源码位置:ClientSession.with_transactio 注意必须主从或者分片集群才能使用事务:分片配置参考文章:https://blog.youkuaiyun.com/weixin_34288121/article/details/92905461 最终代码:注意代码里的db_client是MotorDatabase对象,只能是MotorClient对象调用start_session(), 而不是MotorDatabase对象 方法一:需要将session传入目标函数内 async def d.

weixin_41085315的博客 603

[mongo]事务开发:写操作事务

readPreference 决定使用哪一个节点来满足正在发起的读请求,可选值包括:primary: 只选择主节点primaryPreferred:优先选择主节点,如果不可用则选择从节点secondary:只选择从节点secondaryPreferred:优先选择从节点,如果从节点不可用则选择主节点nearest:选择最近的节点readPreference 选择了指定的节点后,readConcern 决定这个节点上的数据哪些是可读的,类似于关系数据库的隔离级别可选值包括。

weixin_38805083的博客 264

MongoDB分片教程

MongoDB分片

深圳市多克创新科技有限公司 2485

mongo 中的事务(一)

MongoDB中的事务 注意:mongo version 4.2 因为mongo db 里面的文档是可以内嵌,一般对于单个集合(表)一般用不到事务, 然而对于多个集合、多个文档、多个数据库甚至于多个分片进行操作的时候就需要用到分布式事务, 也就是多文档事务了 首先看一个例子: 官网例子 # For a replica set, include the replica set name and a ...

这里是标题 587
上一篇: windows批处理命令相关
Synup
博客等级 码龄12年 0粉丝 6原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值