Redis 主从复制以及主从复制原理

Redis主从复制原理 主从复制就是现在有俩台redis服务器,把一台redis的数据同步到另一台redis数据库上。前者称之为主节点(master),后者为从节点(slave)。数据是只能master往slave同步单向。但是在实际过程中是不可能只有俩台redis服务器来做主从复制的,这也就意味这每台redis服务器都有可能会称为主节点(master)下图案例中,我们的slave3既是master的从节点,也是slave的主节点。先知道这么个概念,更多详解继续查看下文。这个过程就是主从复制最齐全的流程讲解。 阅读详情

点击上方“芋道源码”,选择“设为星标”

做积极的人,而不是积极废人!

源码精品专栏

 

来源:http://t.cn/Efr5fc0

  • 概述

    • 面临问题

    • 解决办法

  • 主从复制

    • 什么是主从复制

    • 主从复制的作用

  • 主从复制启用

  • 主从复制原理


图片描述

Redis是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库,并提供多种语言的API。从2010年3月15日起,Redis的开发工作由VMware主持。从2013年5月开始,Redis的开发由Pivotal赞助。

概述

在现有企业中80%公司大部分使用的是redis单机服务,在实际的场景当中单一节点的redis容易面临风险。

面临问题

  1. 机器故障。我们部署到一台 Redis 服务器,当发生机器故障时,需要迁移到另外一台服务器并且要保证数据是同步的。而数据是最重要的,如果你不在乎,基本上也就不会使用 Redis 了。

  2. 容量瓶颈。当我们有需求需要扩容 Redis 内存时,从 16G 的内存升到 64G,单机肯定是满足不了。当然,你可以重新买个 128G 的新机器。

解决办法

要实现分布式数据库的更大的存储容量和承受高并发访问量,我们会将原来集中式数据库的数据分别存储到其他多个网络节点上。

Redis 为了解决这个单一节点的问题,也会把数据复制多个副本部署到其他节点上进行复制,实现 Redis的高可用,实现对数据的冗余备份,从而保证数据和服务的高可用。

主从复制

什么是主从复制

图片描述

主从复制,是指将一台Redis服务器的数据,复制到其他的Redis服务器。前者称为主节点(master),后者称为从节点(slave),数据的复制是单向的,只能由主节点到从节点。

默认情况下,每台Redis服务器都是主节点;且一个主节点可以有多个从节点(或没有从节点),但一个从节点只能有一个主节点。

主从复制的作用

  1. 数据冗余:主从复制实现了数据的热备份,是持久化之外的一种数据冗余方式。

  2. 故障恢复:当主节点出现问题时,可以由从节点提供服务,实现快速的故障恢复;实际上是一种服务的冗余。

  3. 负载均衡:在主从复制的基础上,配合读写分离,可以由主节点提供写服务,由从节点提供读服务(即写Redis数据时应用连接主节点,读Redis数据时应用连接从节点),分担服务器负载;尤其是在写少读多的场景下,通过多个从节点分担读负载,可以大大提高Redis服务器的并发量。

  4. 读写分离:可以用于实现读写分离,主库写、从库读,读写分离不仅可以提高服务器的负载能力,同时可根据需求的变化,改变从库的数量;

  5. 高可用基石:除了上述作用以外,主从复制还是哨兵和集群能够实施的基础,因此说主从复制是Redis高可用的基础。

主从复制启用

从节点开启主从复制,有3种方式:

  1. 配置文件: 在从服务器的配置文件中加入:slaveof

  2. 启动命令: redis-server启动命令后加入 --slaveof

  3. 客户端命令: Redis服务器启动后,直接通过客户端执行命令:slaveof 


    ,则该Redis实例成为从节点。

通过 info replication 命令可以看到复制的一些信息

主从复制原理

主从复制过程大体可以分为3个阶段:连接建立阶段(即准备阶段)、数据同步阶段、命令传播阶段。

在从节点执行 slaveof 命令后,复制过程便开始运作,下面图示大概可以看到,
从图中可以看出复制过程大致分为6个过程

图片描述

主从配置之后的日志记录也可以看出这个流程

1)保存主节点(master)信息。
执行 slaveof 后 Redis 会打印如下日志:

图片描述

2)从节点(slave)内部通过每秒运行的定时任务维护复制相关逻辑,当定时任务发现存在新的主节点后,会尝试与该节点建立网络连接

图片描述


从节点与主节点建立网络连接

从节点会建立一个 socket 套接字,从节点建立了一个端口为51234的套接字,专门用于接受主节点发送的复制命令。从节点连接成功后打印如下日志:

图片描述

如果从节点无法建立连接,定时任务会无限重试直到连接成功或者执行 slaveof no one 取消复制

关于连接失败,可以在从节点执行 info replication 查看 master_link_down_since_seconds 指标,它会记录与主节点连接失败的系统时间。从节点连接主节点失败时也会每秒打印如下日志,方便发现问题:

# Error condition on socket for SYNC: {socket_error_reason}

3)发送 ping 命令。
连接建立成功后从节点发送 ping 请求进行首次通信,ping 请求主要目的如下:
·检测主从之间网络套接字是否可用。
·检测主节点当前是否可接受处理命令。
如果发送 ping 命令后,从节点没有收到主节点的 pong 回复或者超时,比如网络超时或者主节点正在阻塞无法响应命令,从节点会断开复制连接,下次定时任务会发起重连。

图片描述
图片描述

从节点发送的 ping 命令成功返回,Redis 打印如下日志,并继续后续复制流程:

图片描述

4)权限验证。如果主节点设置了 requirepass 参数,则需要密码验证,从节点必须配置 masterauth 参数保证与主节点相同的密码才能通过验证;如果验证失败复制将终止,从节点重新发起复制流程。

5)同步数据集。主从复制连接正常通信后,对于首次建立复制的场景,主节点会把持有的数据全部发送给从节点,这部分操作是耗时最长的步骤。

6)命令持续复制。当主节点把当前的数据同步给从节点后,便完成了复制的建立流程。接下来主节点会持续地把写命令发送给从节点,保证主从数据一致性。



欢迎加入我的知识星球,一起探讨架构,交流源码。加入方式,长按下方二维码噢:

已在知识星球更新源码解析如下:


如果你喜欢这篇文章,喜欢,转发。

生活很美好,明天见(。・ω・。)ノ♡

国产平替NeuroSky?实测金牛座TGAM脑电模块,从Arduino到Python的完整数据采集指南 本文详细介绍了国产金牛座TGAM脑电模块的完整使用流程,包括硬件连接、数据采集和Python分析。通过Arduino和Python的实战案例,展示了如何从脑电波传感器获取并解析专注度、放松度等数据,适用于专注力训练和脑机接口开发。 阅读详情

相关推荐

小白学电路之cadance搭建buffer电路

Buffer(缓冲器)是一种放大器或驱动电路,主要用于隔离输入和输出,以防止负载对前级电路造成干扰或影响。本文作者在电路方面是小白水平,目前正在学习,有不足之处欢迎指正。3.创建新的cellview,对此buffer进行仿真验证。2.创建buffer的symbol。电路中的V2的详细参数。

weixin_58051657的博客 1998

Redis 主从复制原理分析,这篇就够了

前言 在现有企业中 80%公司大部分使用的是 redis 单机服务,在实际的场景当中单一节点的 Redis 容易面临风险。 由于无法做到故障转移,所以接下来的请求将会直接打到数据库,大量的查询使得数据库连接数达到峰值,且内部锁冲突严重,造成慢查询、连接超时等后果。所以这个时候,我们能不能把数据复制多个副本部署到其他节点上进行复制,当发生故障时,快速地手动切换连接的 Redis? 当然可以的,Redis 就为我们提供了这个功能。 主从模式能将 Master 节点的数据冗余到多台 Slave 上,配合哨兵模式能

养歌的博客 6086

Vivado实战:UltraScale/UltraScale+器件eFUSE寄存器配置与安全编程全解析

本文详细解析了Xilinx UltraScale/UltraScale+器件中eFUSE寄存器的配置与安全编程方法。从芯片唯一身份标识到加密密钥烧录,再到用户寄存器的灵活应用和安全控制寄存器的配置技巧,全面介绍了如何利用eFUSE功能提升硬件安全性。文章还提供了JTAG接口安全管理和NKZ文件备份方案,帮助开发者避免常见陷阱,确保安全编程的可靠性。

weixin_42535703的博客 431

Redis 主从复制的原理及演化

一、什么是主从复制 在数据库语境下,复制( replication)就是将数据从一个数据库复制到另一个数据库中。主从复制,是将数据库分为主节点和从节点,主节点源源不断地将数据复制给从节点,保证主从节点中存有相同的数据。有了主从复制,数据可以有多份副本,这带来了多种好处: 第—,提升数据库系统的请求处理能力。单个节点能够支撑的读流量有限,部多个节点,并构成主从关系,用主从复制保持主从节点数据一致,如此主从节点一起提供服务。 第二,提升整个系统的可用性。因为从节点中有主节点数据的副本,当主节点宕机后,可以

散尽浮华 6399

【2023版】基于JT808/JT1078协议的车载视频监控平台开发实战-开源架构解析

本文详细解析了基于JT808/JT1078协议的车载视频监控平台开发实战,涵盖协议核心作用、开源架构设计、开发避坑指南及二次开发建议。重点介绍了JT1078协议在音视频传输中的优化方案,以及海量位置数据存储、高可用架构等关键技术点,为开发者提供全面的实战参考。

weixin_26965807的博客 237

SiamFC++笔记

SiamFC++: Towards Robust and Accurate Visual Tracking with Target Estimation Guidelines 文章根据这些思路:引入分类和目标状态估计分支(G1),无歧义的分类得分(G2),无先验知识的跟踪(G3)和评估质量得分(G4)来设计SiamFC ++。 SiamRPN ++和SiamFC ++的比较(红色部分代表得分高的区域): guide: G1 : 分类和状态估计任务的分离:分类任务将目标从干扰物和背景中分类出来,目标状态

木木JL的博客 9438

Redis搭建主从复制实现高可用

高可用 HA(High Availability)是分布式系统架构设计中必须考虑的因素之一,它通常是指,通过设计减少系统不能提供服务的时间。 假设系统一直能够提供服务,我们说系统的可用性是 100%。如果系统每运行 100 个时间单位,会有 1 个时间单位无法提供服务,我们说系统的可用性是 99%。很多公司的高可用目标是 4 个 9,也就是 99.99%,这就意味着,系统的年停机时间为 8.76 个小时。 那么如何保证系统的高可用呢 首先,在整个架构的每个节点中,不允许存在单点问题,因为单点一定是高可用最大

Java是世界上最好的语言 1685

Claude Code教程(二) | Claude Code 核心信息与使用指南

Claude Code 核心信息与使用指南

qq_20236937的博客 2188

Redis主从模式

主从复制:主机数据更新后根据配置和策略, 自动同步到备机的master/slaver机制,Master主服务器以写为主,Slave从服务器以读为主。

架构沉思录的博客 5124

Unity PSD分层导入插件ps2d原理与实战指南

PSD作为UI设计主流源文件,其图层结构、混合模式、文字矢量属性等核心语义在传统引擎导入中普遍丢失,导致设计还原度低、多语言适配难、运行时不可控。ps2d通过深度解析PSD二进制规范,将图层映射为GameObject树、文字转为TextMeshPro可编辑组件、形状生成矢量Mesh、蒙版与图层样式编译为定制Shader,实现设计意图的精准程序化表达。该方案显著提升UI开发效率,支撑高保真还原、动态修改、分辨率自适应及运行时热重载等工程需求,是Unity中连接设计师与程序员的关键工作流中枢。

weixin_32943857的博客 348

【python】import pandas as pd用法

是 Python 里最常用的数据分析库之一。 的意思是:导入 pandas 库,并给它起个别名 。这样用起来更简洁: 下面总结 pandas 的常见用法(配例子)。目录🔹 1. 数据结构(1) Series(一维数据,类似于数组 + 标签)(2) DataFrame(二维数据表,类似于 Excel 表格)🔹 2. 数据读写🔹 3. 数据查看🔹 4. 数据选择与索引🔹 5. 数据清洗🔹 6. 数据运算🔹 7. 数据筛选(布尔索引)🔹 8. 分组与聚合🔹 9. 排序 Pandas 常用方

2401_86285609的博客 1535

Redis与MySQL主从复制原理解析

主从复制是一种常用的数据冗余和负载均衡技术。无论是缓存系统Redis还是关系型数据库MySQL,都广泛应用了主从复制技术。MySQL的主从复制(Master-Slave Replication)是一种数据库同步技术,它允许将一个MySQL数据库服务器(称为主服务器或master)的数据复制到一个或多个MySQL数据库服务器(称为从服务器或slave)上。

2303_76892351的博客 1678

雷达参数的设置

采样率又可以叫做采样速率或者,顾名思义就是每秒采集的次数。该值越高,单位时间内对信号的采集越多,采样率的单位可以用Hz或者sps表示(sps是采样率,是每秒采样点的数量,sp表示采样点数),一般1sps=1Hz。采样时间是采样点数和采样周期的乘积得到的结果。假设实际采样率为4560ksps,采样点数为256,那么采样周期为1/4560(ms),那么ADC的采样时间就为256*(1/4560)(ms)=0.056ms=56微秒。

qq_50974341的博客 1914

Redis主从复制实现原理

主要讲解了redis主从同步的实现原理和实现方法,psync同步方法参数讲解,全量复制和增量复制的区别,供大家学习参考

感谢您的访问,期待和大家一起在Go语言的世界中共同进步 1361

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表,创建专业级图表以简化复杂的信息。

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

Redis 主从复制实现的原理

Redis 主从复制是指把 Redis 主节点的数据同步到从节点的过程,使得主节点的数据和从节点的数据保持一致。

Mylqs的博客 1423

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

Redis 主从复制的核心原理

Redis 主从复制(Master-Slave Replication)是 Redis 提供的一个重要功能,允许一个 Redis 实例作为主节点(Master),将数据同步到一个或多个从节点(Slave)。通过主从复制,Redis 可以实现数据的冗余备份、负载均衡和高可用性。Redis 的主从复制基于 异步复制,具体过程包括主节点与从节点之间的数据同步,数据的传播等,以下是核心原理:Redis 主从复制的核心原理是通过 异步复制 实现主节点与从节点之间的数据同步。从节点在连接到主节点后,会执行全量同步和增量

用来自己学习,复习 1033

Data-Structures-and-Algorithm-Analysis-in-Java.pdf

作者: Weiss, Mark A. 出版社: Addison Wesley Data Structures and Algorithm Analysis in Java is an “advanced algorithms” book that fits between traditional CS2 and Algorithms Analysis courses. In the old ACM Curriculum Guidelines, this course was known as CS7. This text is for readers who want to learn good programming and algorithm analysis skills simultaneously so that they can develop such programs with the maximum amo...

【Redis】redis主从复制原理

【Redis】redis主从复制原理

Zachary 1742

Redis——主从复制原理

Redis的主从复制原理是其高可用性和分布式读取能力的重要基础。

oopxiajun博客专栏 985

Redis 主从复制的原理详解

当 Sentinel 发现主节点故障时,会通过选举机制,将其中一个从节点提升为新的主节点,并通知其他从节点重新指向新的主节点。如果从节点与主节点断开连接,当从节点恢复连接后,主节点会将自从连接断开后的增量数据发送给从节点,以保持数据的同步。手动故障恢复:在传统的 Redis 主从复制架构中,当主节点故障时,通常需要人工干预,将其中一个从节点提升为主节点,并重新配置其他节点指向新的主节点。增量复制:在全量复制完成后,从节点会通过命令传播机制,接收主节点的实时写操作日志,并应用到自己的数据集中,实现实时同步。

qq_43197840的博客 2196

【面试之Redis篇】主从复制原理

由一个 Redis 服务器(主节点 Master)将其数据自动同步到一个或多个 Redis 服务器(从节点 Slave)的过程。它的核心目的是实现数据的冗余备份、实现读写分离以提升读性能、并构成高可用和故障恢复的基础。最终一致性:Redis 主从复制是异步的,这意味着主从数据存在短暂延迟,是最终一致性模型。延迟取决于网络、负载等因素。核心面试点全量复制 vs 部分复制:理解它们的触发条件和过程,尤其是PSYNC机制。核心组件复制偏移量 (offset)复制积压缓冲区 (backlog)

m0_73609995的博客 1501

Redis高可用——主从复制原理

前言 Redis 的高可用方案包括:持久化、主从复制、哨兵和集群。其中持久化侧重解决的是 Redis 数据的单机备份问题;而主从复制则侧重解决数据的多机热备,此外,主从复制还可以实现负载均衡和故障恢复。 本文主要介绍 Redis主从复制,包括如何使用主从复制、主从复制相关的配置、主从复制的原理等。 主从复制 主从复制,是指将一台Redis服务器的数据,复制到其他的Redis服务器。前者称为主节点(master),后者称为从节点(slave);数据的复制是单向的,只能由主节点到从节点。 默认情况下,每台Red

沸羊羊_ 1343

Redis主从复制的原理

Redis主从复制通过异步命令传播和快照机制,实现数据的多节点冗余备份和读写分离。其核心优势在于高性能和数据可靠性,但需注意异步复制带来的数据一致性问题。实际部署时,建议结合哨兵或集群方案,以实现自动化的故障恢复和更高的可用性。

weixin_43521001的博客 1016

Redis主从复制原理总结

文章来源:https://www.cnblogs.com/kevingrace/p/5685332.html Redis主从复制原理总结 和Mysql主从复制的原因一样,Redis虽然读取写入的速度都特别快,但是也会产生读压力特别大的情况。为了分担读压力,Redis支持主从复制,Redis的主从结构可以采用一主多从或者级联结构,Redis主从复制可以根据是否是全量分为全量同步和增量同步。下图为...

weixin_37878255的博客 166

redis主从复制以及主从复制的原理

概述 在现有企业中80%公司大部分使用的是redis单机服务,在实际的场景当中单一节点的redis容易面临风险。 面临问题 1. 机器故障。我们部署到一台 Redis 服务器,当发生机器故障时,需要迁移到另外一台服务器并且要保证数据是同步的。而数据是最重要的,如果你不在乎,基本上也就不会使用 Redis 了。 2. 容量瓶颈。当我们有需求需要扩容 Redis 内存时,从 16G 的内存升到 64G,单机肯定是满足不了。当然,你可以重新买个 128G 的新机器。 解决办法 要实现分布式数据库的更大

董含的博客 952

图解-Redis主从复制原理

主从复制是指用户可以搭建多个服务器,其中几个服务器当做主服务器,提供写功能。其余的服务器当做从服务器,提供读功能。每当主服务器收到写请求时,同时需要把数据发送给从服务器。保证主从服务器的数据保持最终一性

云舒编程的博客 975
上一篇: SpringBoot + MyBatis + MySQL 读写分离实战
下一篇: 谁都用过的神技!为什么说重启能解决 90% 的问题?
公众号-芋道源码
博客等级 码龄10年 1639粉丝 377原创
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值