redis主从同步下数据丢失的处理方案

最新推荐文章于 2024-10-19 22:42:14 发布
原创 最新推荐文章于 2024-10-19 22:42:14 发布 · 2.1k 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

探讨了在Redis主从同步过程中，主节点故障导致的数据丢失问题，特别是在客户端与旧主节点通信期间。通过配置min-slaves-to-write和min-slaves-max-lag参数，可以有效减少数据丢失的风险。

数据丢失的场景：

  1. 主从同步过程中，主节点的数据还未同步到从节点，但是主节点挂了，进行了主从切换；导致从的数据丢失了一部分
  2. 主挂了，从节点选取了新的主节点；但此时客户端还与老的主节点进行通讯，等客户端主从变换成功之后，从新的主节点获取数据，会导致数据丢失；因为老的新节点恢复后也以slave节点存在（自身的数据清空，从新的主节点获取数据）

 

redis配置redis.conf 

Min-slaves-to-write 1
Min-slaves-max-lag 10  (一旦slave复制数据和ack延迟太长，就认为可能master 宕机后损失的数据太多了，那么就拒绝写请求)

可以减少上述数据丢失的情况

从节点大于配置的时间点还未ack，从阻止主节点写入；减少了数据丢失的时间跨度

Redis集群脑裂、Redis主从同步的异步丢数据问题
Eternity的博客
11-01 1179
Redis集群脑裂、Redis主从同步的异步丢数据问题、服务降级
读者诉苦：Redis 宕机，数据丢了，老板要辞退我
热门推荐
公众号：微观技术
11-24 2万+
大家好，我是Tom哥~最近跟一位读者聊天，小哥非常郁闷，公司的Redis宕机了，线上业务受到了影响，老板非常愤怒，小哥担心会不会被辞退！我也很好奇，问小哥Redis主节点挂了，还有备机啊。怎么会影响到业务呢？小哥说，他们的系统架构只部署一个Redis单实例。节点挂了，数据也丢了。好吧，既然提到了备份，那今天，我们就来聊下 Redis的主从同步首先，什么是主从？主从也称主从集群，部署了多个Redis实例，如下图所示：其中，每个实例又有自己的专属职责主库：负责接收读操作、写操作从库：定期同步主库的数据，对外提供
Redis主从复制数据丢失
N_a_n的博客
04-06 1079
Redis主从复制存在的问题 异步复制导致的数据丢失：当主数据库处理请求时，由于同步是异步发生的，如果在同步前，主数据库宕机了，会造成数据丢失。 脑裂(多个master)导致的数据丢失：当master因为网络的问题被哨兵认为是宕机的服务，这是哨兵会挑选一个slave作为master，但这个时候，就master并没有宕机，在client使用新的master前依旧向旧的master写入数据。之后，当...
redis哨兵主从切换下数据丢失
05-05 687
slave为master，此时与之前master连接的client一直发送数据，当我们进行恢复将原master。当做新master的slave节点的时候，那么后来一直发送到原master内存的数据会丢失。毫无疑问会丢失延时的这段时间的数据当集群节点间网络或其他问题导致异步复制延时很高，当集群节点间网络或其他问题导致异步复制延时很高，如果此时master宕机了，如果此时master宕机了，毫无疑问会丢失延时的这段时间的数据。总的来看：遵从CAP理论的 CP，牺牲了A（可用性）
redis主从数据丢失解决方案
芒果哥的专栏
10-18 1269
如果master还没有同步到slave业务读取脏数据问题 问题阐述：master用来写，slave用来读，当master还没有同步到slave这时候我们读slave出现了脏数据 解决方案：在redis缓存中增加标记 .A发起写请求，更新了主库，但在缓存中设置一个标记，代表此数据已经更新，标记格式（业务代号：数据库：表：主键ID）根据自己业务场景。 2.设置此标记，要加上过期时间，可以为预估的...
Redis 主从同步
分享既学习
07-02 1787
在分布式系统中为了解决单点问题，通常会把数据复制到多个副本部署到其它机器，满足故障恢复和负载均衡需求。Redis 也提供了复制功能，实现相同数据多个 Redis 副本。本篇文章介绍如何配置 Redis 复制及原理。本篇文章介绍如何配置 Redis 复制及原理，复制的全量阶段会消耗大量的资源占用网络带宽，因此建议一个 Redis 实例内存不要太大，通常建议不要超过 6GB。可以减少 RDB 文件生成、传输、重新加载的开销。
五、Redis主从同步
小刺猬喜歡獨角獸
07-17 1520
Redis主从同步
深入 Redis 主从复制与数据同步机制
m0_61338779的博客
10-19 1687
在 Redis 的主从复制（replication）中，数据的可靠性和一致性是至关重要的，特别是在面对网络中断、主节点故障或复制延迟时。本文将深入探讨 Redis 主从复制中的几个关键概念，包括 Replication ID、Replication Offset、Replication Buffer 以及部分重同步（PSYNC），并结合具体的使用场景和指令提供全面的知识和实践建议。
Redis主从复制集群及数据异常丢失恢复思路（七）
11
02-05 1501
简单明了的一句话：主库因为某种原因宕机无法提供服务了，直接将从库切换成主库提供服务，然后后原来的主库恢复后同步当前主库的数据，然后停掉所有线上运行的程序，将现在的主库去同步恢复后的主库，重新生成主从关系。修复完主库，已经是有数据的了，为什么还要同步从库的数据呢，因为在主库挂掉的那一瞬间，从库去掉了主从配置，自己已经成了主库，并且也提供了一段时间的数据写入，这时从库的数据时最完整的。从库在同步主库的时候，会把从库上的所有数据全部清空，因此在做redis主从的时候尽量选择没有任何数据的redis。
【Redis主从集群两种数据丢失的情况】
qq_35543206的博客
12-12 294
Redis主从集群两种数据丢失的情况主从异步复制导致的数据丢失1. 拿三节点的集群举例（majority=3/2+1=2，quorum设置的是2），当master node宕机过后，Slave节点还没有完成异步数据的复制（goosip协议进行广播同步），而哨兵节点监听到Master节点宕机过后，就开始了选举，另一个从节点被提升成了新的Master node，引发了部分数据的丢失，该如何解决？集群脑裂导致的数据丢失2. master node 和slave node 出现了网络故障，无法连接上，但是maste
Redis脑裂为何会导致数据丢失？
JavaEdge全是干货的技术号
01-23 2175
脑裂，主从集群中，同时有两个主能接收写请求。Redis主从切换过程中，若发生脑裂，客户端数据就会写入原主，若原主被降为从库，这些新写入数据就丢了。和主库部署在同一台服务器上的其他程序临时占用了大量资源（例如CPU资源），导致主库资源使用受限，短时间内无法响应心跳。其它程序不再使用资源时，主库又恢复正常主库自身遇到阻塞，如处理bigkey或是发生内存swap（你可以复习下第19讲中总结的导致实例阻塞的原因），短时间内无法响应心跳，等主库阻塞解除后，又恢复正常的请求处理了。
Redis集群脑裂导致数据丢失问题处理
谦虚使人发胖的博客
03-14 2175
Redis的集群脑裂指在主从集群中，同时有两个master主节点，它们都能接收写请求。而脑裂最直接的影响，就是客户端不知道应该往哪个master主节点写入数据，结果就是不同的客户端会往不同的主节点上写入数据。此时Redis的集群脑裂就有可能会导致数据丢失。
当redis cluster集群中某个主节点与从节点同步失败的解决办法
weixin_44320900的博客
07-23 2762
redis cluster 笔者搭建好cluster（三主三从）之后，进入到redis 集群模式测试了一番，意外发现其中有一个主节点和从节点同步失败。 但是其他都是正常的，于是笔者进入集群模式 redis-cli -h 12.0.0.1 -p 6379 -c 想查看节点是否连接成功 cluster nodes 节点是成功的，但是为什么没有同步成功了，善用搜索引擎后，笔者也没有查找到相关的资料。。。 于是笔者查看从节点的日志，想从中窥探出蛛丝马迹 从上笔者根据再次使用搜索引擎后，发现删除dump.
宕机了，Redis 如何避免数据丢失？
Java是世界上最好的语言
02-19 2091
宕机了，Redis 如何避免数据丢失？采用AOF和RDB结合的方式来处理该问题。
记一次redis主从切换导致的数据丢失与陷入只读状态故障
他很懒，但也在努力的生活着
07-15 216
调整运行时maxmemory时同时调整配置文件maxmemory保持一致。将配置文件maxmemory设置为0--表示不限制内存使用。正是因为对redis的认识和经验不足，没有想过到运行时配置与静态配置不一致可能导致的问题，这次不可避免的踩坑了。但是，作为一个本职RD，半路接手基本靠自学的兼职运维，要考虑到maxmemory的运行配置与静态配置一致性问题好像也确实不是那么的理所当然。
redis 主从同步和故障切换的几个坑
ray的博客
01-09 1626
当我们从节点读取一个数据时，和主节点读取的数据不一致，这是因为主从同步的命令是异步进行的，一般情况下是主从同步延迟导致的，为什么会延迟， 主要二个原因 1、网络状态不好 2、网络没问题，从节点执行耗时命令，之前的命令在排队，没有执行到对于 1，我们要检查网络状态，在硬件网络尽量把主从机器部署在一起，对于 2 ，可以开发一个监控主从复制进度的程序，及时的把主从复制进度大于一定差值的客户端移除，当复制进度赶上时，再增加进去 数据不一致是不可避免的，我们尽量缩小不一致的时间，或者重要数据直接读主库我们使用主从集群
Redis如何确保数据不丢失
Java搜索工程技术栈
02-27 2879
最近跟一位读者聊天，小哥非常郁闷，公司的Redis宕机了，线上业务受到了影响，老板非常愤怒，小哥担心会不会被辞退！ 我也很好奇，问小哥Redis主节点挂了，还有备机啊。怎么会影响到业务呢？ 小哥说，他们的系统架构只部署一个Redis单实例。节点挂了，数据也丢了。 好吧，既然提到了备份，那今天，我们就来聊下 Redis的主从同步。 一、什么是主从？ 主从也称主从集群，部署了多个Redis实例，如下图所示： 其中，每个实例又有自己的专属职责 主库：负责接收读操作、写操作
Redis 主从模式下主节点挂了怎么办? 如何为间断对外提供服务？ Redis哨兵 Sentinel
坚持需要成为习惯
08-25 5051
哨兵是什么? 哨兵是Redis高可用(HA)的解决方案.只不过他不支持数据的存储. 它的组成: Sentinel是一个系统(或者说是集群)它是由一个(多个实例)组成 为什么需要Redis哨兵? Redis有主从模式(客户端写操作发送到主节点,读操作发送到从节点) 如果这时候主节点出现故障，不能对外提供服务了.这个时候我们需要做哪几个操作才能正常的对外提供不间断服务. 1.我们不知什么主节点挂了(最主要的问题) 2.手工把从库设置为主库 3.户端还需要修改新的主库地址 Redis如果解决这些问题 首先我们
redis主从同步的异步同步
最新发布
12-27
### Redis 主从复制异步同步机制解释 #### 一、主从复制概述 Redis 的主从复制功能能够显著提升系统的可用性、扩展性和数据冗余性。该特性允许当主节点发生故障时，从节点可接管并持续提供服务；同时支持通过增加从节点来分摊读取请求的压力，优化整体性能表现[^1]。 #### 二、异步同步特点 在Redis的主从架构里，默认采用的是**异步复制模式**。这意味着每当客户端向Master（即主库）发起写入指令后，Master会立即将变更应用至本地数据库，并随后将此更新转发给所有的Slave（即从库）。然而，在这个过程中，Master并不会等待确认消息返回就已结束当前事务处理过程[^2]。 这种设计使得即使网络连接不稳定或延迟较高情况下也能保持较高的吞吐率，因为不需要每次操作都阻塞直到所有副本均已完成同步。但是这也意味着如果此时突然遭遇断电或其他意外情况，则可能导致某些未被及时传播的数据丢失风险。 为了应对这种情况下的潜在问题，Redis引入了两种不同的策略来进行更高效的增量恢复： - **全量复制 (SYNC)**：适用于初次建立链接或是遇到严重错误无法继续正常工作的场合。它涉及创建一个新的快照文件(RDB)，并通过TCP传输给对方加载。 - **部分重放 (PSYNC)**：作为改进版方案，仅需补发自上次成功通讯以来新增加的内容即可完成修复工作，大大减少了所需时间和带宽消耗[^4]。 ```bash # 配置示例 - 设置为 slave 节点 replicaof master_ip_address port_number ``` 上述配置语句展示了如何在一个 Slave 上指明其 Master 所处的位置以及监听端口号，以便于两者间建立起稳定可靠的通信链路。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值