实现Redis高可用（集群）

最新推荐文章于 2025-04-05 20:11:18 发布
最新推荐文章于 2025-04-05 20:11:18 发布
阅读量1k 收藏 12
点赞数 25
文章标签： redis java 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/2302_79741013/article/details/144004819
版权

1、主从模式

  • 主节点（Master）：负责处理所有的写操作。
  • 从节点（Slave）：从主节点同步数据，可以处理读操作，提供数据冗余。
优点
  • 数据冗余：通过从节点备份数据，增加数据的冗余性。
  • 读写分离：从节点可以分担主节点的读取压力，提高系统的读取性能。
  • 简单易用：配置和管理相对简单。
缺点
  • 手动故障恢复：如果主节点故障，需要手动将一个从节点提升为主节点，无法自动切换。
  • 数据丢失风险：如果主节点在数据同步过程中故障，可能会丢失部分数据。
  • 单点故障：主节点是单点故障点，一旦主节点故障，整个系统可能不可用。
主从同步

从节点向主节点发送请求携带replacationid和offset，判断id是否相同，不同则做全量同步且将id更改为Redis生成的心的id，相同则做增量同步

  • 全量同步：从节点启动时，会发送 PSYNC 命令（或 SYNC 命令）给主节点，请求全量同步。主节点会生成一个RDB文件并通过网络发送给从节点，从节点加载RDB文件。
  • 增量同步：从节点加载完RDB文件后，会记录主节点的偏移量（offset），只对offset值后面的记录进行同步，并继续接收主节点的写操作命令，保持数据的一致性。

2、哨兵模式

基本概念
  • 哨兵节点（Sentinel）：监控主节点和从节点的运行状态，并在主节点故障时自动进行故障转移。
  • 主节点（Master）：负责处理所有的写操作。
  • 从节点（Slave）：从主节点同步数据，可以处理读操作。
工作原理
  1. 监控：
    • 哨兵节点定期向主节点和从节点发送心跳包，检测它们的健康状况。
    • 哨兵节点之间也会互相通信，共享监控信息。
  1. 故障检测：
    • 如果哨兵节点在一定时间内没有收到主节点的响应，会认为主节点可能故障。
    • 多个哨兵节点会通过投票机制确认主节点是否真的故障。
  1. 故障转移和通知：
    • 哨兵节点之间通过投票机制选举一个哨兵作为领导者。
    • 领导者哨兵会选择一个从节点晋升为主节点，并通知其他哨兵和从节点更新配置。
    • 哨兵节点会更新客户端的配置，使客户端能够透明地切换到新的主节点。
配置示例
  • 哨兵节点配置（sentinel.conf）：
port 26379
sentinel monitor mymaster 127.0.0.1 6379 3
sentinel down-after-milliseconds mymaster 5000
sentinel failover-timeout mymaster 60000
sentinel parallel-syncs mymaster 1
    • sentinel monitor mymaster 127.0.0.1 6379 2：监控名为 mymaster 的主节点，地址为 127.0.0.1:6379，需要个3哨兵节点确认主节点故障。
    • sentinel down-after-milliseconds mymaster 5000：如果主节点在5000毫秒内没有响应，认为主节点可能故障。
    • sentinel failover-timeout mymaster 60000：故障转移的超时时间为60000毫秒。
    • sentinel parallel-syncs mymaster 1：在故障转移时，最多允许1个从节点同时进行数据同步。
优点
  • 自动故障转移：哨兵节点可以自动检测主节点故障并进行故障转移，提高系统的可用性。
  • 客户端透明：客户端可以通过哨兵节点获取当前主节点的信息，实现透明的故障切换。
  • 多哨兵节点：多个哨兵节点可以提高故障检测的准确性和可靠性。
缺点
  • 资源消耗：哨兵节点需要额外的资源和维护，增加了系统的复杂性。
  • 数据不一致：在故障转移过程中，新的主节点可能会有一段时间的数据不一致，影响数据的准确性。
  • 配置复杂：哨兵模式的配置和管理相对复杂，需要配置多个哨兵节点和主从节点。

3. 集群模式（Cluster）

基本概念
  • 主节点（Master）：负责处理部分槽的数据读写操作。
  • 从节点（Slave）：作为主节点的副本，用于数据冗余和故障恢复。
  • 槽（Slot）：Redis集群将数据空间划分为16384个槽，每个槽可以分配给一个主节点。
Hash Slot插槽算法

既然是分布式存储，Cluster集群使用的分布式算法是一致性Hash嘛？并不是，而是Hash Slot插槽算法。

插槽算法把整个数据库被分为16384个slot（槽），每个进入Redis的键值对，根据key进行散列，分配到这16384插槽中的一个。使用的哈希映射也比较简单，用CRC16算法计算出一个16 位的值，再对16384取模。数据库中的每个键都属于这16384个槽的其中一个，集群中的每个节点都可以处理这16384个槽。

集群中的每个节点负责一部分的hash槽，比如当前集群有A、B、C个节点，每个节点上的哈希槽数 =16384/3，那么就有：

  • 节点A负责0~5460号哈希槽
  • 节点B负责5461~10922号哈希槽
  • 节点C负责10923~16383号哈希槽
工作原理
  1. 数据分布：
    • 客户端通过计算键的哈希值，确定数据应该存储在哪个槽上，进而路由到对应的主节点。
    • 每个主节点可以管理多个槽，槽的分配可以通过 CLUSTER ADDSLOTS 命令进行。
  1. 主从复制：
    • 每个主节点可以有一个或多个从节点，从节点会定期从主节点同步数据。
    • 从节点可以通过 CLUSTER REPLICATE 命令指定要复制的主节点。
  1. 故障检测：
    • 节点之间通过Gossip协议定期交换心跳信息，检测其他节点的健康状况。
    • 如果一个节点在一定时间内没有收到某个节点的心跳信息，会认为该节点可能故障。
  1. 故障转移：
    • 当主节点故障时，集群会自动选举一个从节点晋升为主节点，继续提供服务。
    • 选举过程通过Raft一致性算法实现，确保选举的公平性和一致性。
  1. 动态扩缩容：
    • 可以动态地向集群中添加新的节点，新节点会自动分配部分槽，分担现有节点的压力。
    • 可以动态地从集群中移除节点，现有节点会重新分配槽，确保数据的完整性和一致性。
配置示例
  • 节点配置（redis.conf）：
port 7000
cluster-enabled yes
cluster-config-file nodes-7000.conf
cluster-node-timeout 5000
appendonly yes
  • 创建集群：
redis-cli --cluster create 192.168.1.1:7000 192.168.1.2:7000 192.168.1.3:7000 --cluster-replicas 1
    • --cluster-replicas 1：每个主节点有一个从节点。
优点
  • 数据分布：通过槽分配机制，将数据均匀分布在多个节点上，实现水平扩展。
  • 高可用性：通过主从复制和自动故障转移，确保系统的高可用性。
  • 动态扩缩容：支持动态添加和移除节点，确保系统的扩展性和灵活性。
  • 客户端透明：客户端可以通过集群模式自动路由到正确的节点，实现透明的故障切换。
缺点
  • 配置复杂：集群模式的配置和管理相对复杂，需要管理多个节点。
  • 某些操作受限：多键操作和事务可能会受到限制，因为它们需要在多个节点上协调。
  • 网络要求高：节点之间需要频繁的通信，对网络的要求较高。
ChatGPT 使用 拓展资料：强化学习DQN 单模型、双模型、DoubleDQN、DuelingDQN
段智华的博客
03-26 3684
ChatGPT 使用 拓展资料：强化学习DQN 单模型、双模型。
PyTorch实战：强化学习入门
AI天才研究院
02-18 202
1. 背景介绍 1.1 什么是强化学习 强化学习（Reinforcement Learning，简称RL）是一种机器学习方法，它通过让智能体（Agent）在环境（Environment）中采取行动，根据环境给出的奖励（Reward）或惩罚（Penalty）来学习最优策略。强化学习的目标是让智能体在长期
掌握PyTorch的策略梯度和Qlearning实现
AI天才研究院
01-25 678
1.背景介绍 策略梯度和Q-learning是两种非常重要的强化学习算法，它们在人工智能和机器学习领域具有广泛的应用。在本文中，我们将深入探讨PyTorch实现策略梯度和Q-learning的核心概念、算法原理、最佳实践以及实际应用场景。 1. 背景介绍 强化学习是一种机器学习方法，它涉及到一个智能体与环境之间的交互过程。智能体通过执行动作来影响环境，并从环境中接收反馈来学习如何取得最大化的...
DDQN的Pytorch实现.zip
05-19
使用Pytorch和多项式分布采样实现DDQN算法 DDQN和Nature DQN一样，也有一样的两个Q网络结构。在Nature DQN的基础上，通过解耦目标Q值动作的选择和目标Q值的计算这两步，来消除过度估计的问题。
强化学习与 PyTorch【1.0】
最新发布
qq_43416206的博客
04-05 909
其实，在本书的开头就给人工智能下定义是不合适的， 因为定义下得不好， 很可能会误导读者。但是， 对人工智能的定义没有基本的认识， 也是一件很麻烦的事情，因为很可能没过多久就会有读者开始纠结于“这种人工智能够不够智能”“这个东西配不配叫人工智能” 这样基本的而充满争议的问题了。需要注意的是，机器学习也好，人工智能也罢，这两个词汇本身就在无形中给人一种误导。它们让人们觉得， 机器是自己在学习的， 由人制造出来的这个“智能”的东西自己有分析、 思考、进化的能力。
强化学习：DQN（转载）
qq_30934313的博客
01-10 210
关于强化学习中DQN 主要内容： 强化学习是什么？ 主要表现的3个方面 ： 1 使用神经网络逼近函数 2 使用经验回放进行训练 3 设置单独的target DQN 计算Q值 详见http://www.broadview.com.cn/article/419382 ...
【强化学习】深度Q网络(DQN)求解倒立摆问题 + Pytorch代码实战
热门推荐
知不足而奋进，望远山而前行
10-22 2万+
Agent 必须在两个动作之间做出决定 - 向左或向右移动推车 - 以使连接到它的杆保持直立。 深度 Q\mathrm{Q}Q 网络算法是这样的，我们初始化两个网络 ：估计网络 QQQ 和 目标网络 Q^，Q^\hat{Q} ， \hat{Q}Q^​，Q^​ 就等于 QQQ ，一开始 目标网络 Q^\hat{Q}Q^​ 与原来的 QQQ 网络是一样的。在每一个回合中，我们用演员与环境交互，在每一次交互的过程中，都会得到一个 状态 sts_tst​ ，会采取某一个动作 at。a_{t 。}at。​ 怎么知道采
pytorch DQN实战
qq_45092173的博客
03-05 465
Deep Q-Network实战 示例一立杆子 示例一源自莫烦pytorch教学4.5, 原文链接：https://www.bilibili.com/video/av15997678?p=27 """ View more, visit my tutorial page: https://morvanzhou.github.io/tutorials/ My Youtube Channel: http...
强化学习算法：此存储库包含大多数基于pytorch实现的经典深度强化学习算法，包括-DQN，DDQN，Dualling Network，DDPG，SAC，A2C，PPO，TRPO。 （更多算法仍在进行中）
01-30
深度强化学习算法 该存储库将使用PyTorch实现经典的深度强化学习算法。 该存储库的目的是为人们提供清晰的代码，以供他们学习深度强化学习算法。 将来，将添加更多算法，并且还将保留现有代码。 当前实施 深度Q学习网络（DQN） 基本DQN 双Q网络 决斗网络架构 深度确定性策略梯度（DDPG） 优势演员评判（A2C） 信任区域策略梯度（TRPO） 近端政策优化（PPO） 使用克罗内克因素信任区域（ACKTR）的演员评论家 软演员评论（SAC） 更新信息 :triangular_flag: 2018年10月17日-在此更新中，大多数算法已得到改进，并添加了更多关于图的实验（DPPG除外）。 PPO现在支持atari游戏和mujoco-env 。 TRPO非常稳定，可以得到更好的结果！ :triangular_flag: 2019-07-15-在此更新中，不再需要为openai基准安装。 我在rl__utils模块中集成了有用的功能。 DDPG也重新实现，并支持更多结果。 自述文件已被修改。 代码结构也有微小的调整。 :triangular_flag: 201
【PyTorch深度强化学习】：精通DQN与DDPG算法（专家级攻略）
[【PyTorch深度强化学习】：精通DQN与DDPG算法（专家级攻略）](https://d3i71xaburhd42.cloudfront.net/e6a1640c03c50a55ef3e00a0592dbb0851fe33bb/3-Figure1-1.png) # 1. 深度强化学习基础 在深度强化学习（DRL）...
【PyTorch入门到精通】：深度学习神经网络构建必备技能
PyTorch是一个流行且功能丰富的深度学习框架，广泛应用于研究和工业界。本文首先介绍了PyTorch框架的基本概念和核心组件，然后详细探讨了其基础操作，包括张量的使用、自动求导机制，以及如何构建和管理深度学习模型...
DDQN_Mario:超级马里奥兄弟的Pytorch-DDQN实现
05-03
超级马里奥兄弟的Pytorch-DDQN实现 该项目和实现本文的 必需的 结果 参考 nailo2c / dqn-mario
Python-深度强化学习PyTorch实现集锦
08-11
This repository contains most of classic deep reinforcement learning algorithms, including - DQN, DDPG, A3C, PPO, TRPO. (More algorithms are still in progress)
【PyTorch强化学习优化】：梯度裁剪与熵正则化的终极策略
![【PyTorch强化学习优化】：梯度裁剪与熵正则化的终极策略]...PyTorch是一个流行的深度学习框架，其动态计算图和易用性使得它在强化学习领域有着
《边做边学深度强化学习：PyTorch程序设计实践》——6.2DDQN
longgegeo的博客
01-26 1305
重新实现函数update_target_q_function，在其中执行Brain类的函数update_target_q_network，在Environment类的试验（episode）结束时，执行Agent类的函数update_target_q_function。Dueling Network是一种在动作价值函数输出层之前增加一层，用于输出状态价值V(s)和优势函数A(s,a) = Q(s,a)-V(s)的方法，学习状态价值V(s)时，能独立于动作而学习状态价值V(s)，具有提高学习性能的优点。
基于Pytorch的强化学习(DQN)之 Multi-agent 训练架构
ZDDWLIG的博客
04-03 8744
目录 1. 引言 2. 训练架构 2.1 Fully decentralized 2.2 Fully centralized 2.3 Centralized&Decentralized 1. 引言 我们上一次讲到了Multi-agent的基本概念，现在来讲讲具体的训练方法，以Actor-Critic方法为例。 2. 训练架构 我们知道在Single-agent中的Actor-Critic方法中需要一个策略函数 作为Actor进行执行action，还有一个价值函数 进
DQN原理及PyTorch实现【强化学习】
新缸中之脑
12-02 724
欢迎来到我们的强化学习系列的第三部分。在上两篇博客中，我们介绍了强化学习中的一些基本概念，并研究了多臂bandit问题及其求解方法。这篇博客会有点长，因为我们将首先学习一些新概念，然后应用深度学习来构建深度 RL 代理。然后我们将训练该代理来平衡车杆。可以在访问这篇博客对应的代码库。
基于Pytorch的强化学习(DQN)之 Experience Replay
ZDDWLIG的博客
03-29 2167
目录 1. 引言 2. 经验回放算法 2. 优先经验回放 2.1 抽取方法改进 2.2 学习率修正 1. 引言 我们之前学过TD 算法，基本的TD算法的思路如下 观测到一个transition 计算TD target 计算TD error 梯度下降 我们发现一个transition在使用之后就会被丢弃了，我们不会在后面使用到它，这样的训练速度就非常慢：想象AI在打boss，但是一下就被秒了，它从中获取不到足够的信息，只能一遍又一遍地去刷boss，那又需要将前面的所以关..
《白话强化学习与PyTorch》学习笔记---第八章
cat_ziyan的博客
11-11 4338
《白话强化学习与PyTorch》学习笔记-第八章 第八章用了DQN及各种改进算法来训练Gym中的atari游戏—pong 首先先来看一下官方网站中的游戏介绍： 简单来说，训练目的是使得分最大化。在这个环境中的观察结果(observation)是RGB图像，大小为（210，160，3），在2~4（随机采样）帧内重复同一个动作。从环境中得到observation后，我们会先对数据进行预处理操作： d...
pytorch实现DQN强化学习
06-01
DQN（Deep Q-Network）是一种使用深度神经网络实现的强化学习算法，用于解决离散动作空间的问题。在PyTorch中实现DQN可以分为以下几个步骤： 1. 定义神经网络：使用PyTorch定义一个包含多个全连接层的神经网络，输入为状态空间的维度，输出为动作空间的维度。 ```python import torch.nn as nn import torch.nn.functional as F class QNet(nn.Module): def __init__(self, state_dim, action_dim): super(QNet, self).__init__() self.fc1 = nn.Linear(state_dim, 64) self.fc2 = nn.Linear(64, 64) self.fc3 = nn.Linear(64, action_dim) def forward(self, x): x = F.relu(self.fc1(x)) x = F.relu(self.fc2(x)) x = self.fc3(x) return x ``` 2. 定义经验回放缓存：包含多条经验，每条经验包含一个状态、一个动作、一个奖励和下一个状态。 ```python import random class ReplayBuffer(object): def __init__(self, max_size): self.buffer = [] self.max_size = max_size def push(self, state, action, reward, next_state): if len(self.buffer) < self.max_size: self.buffer.append((state, action, reward, next_state)) else: self.buffer.pop(0) self.buffer.append((state, action, reward, next_state)) def sample(self, batch_size): state, action, reward, next_state = zip(*random.sample(self.buffer, batch_size)) return torch.stack(state), torch.tensor(action), torch.tensor(reward), torch.stack(next_state) ``` 3. 定义DQN算法：使用PyTorch定义DQN算法，包含训练和预测两个方法。 ```python class DQN(object): def __init__(self, state_dim, action_dim, gamma, epsilon, lr): self.qnet = QNet(state_dim, action_dim) self.target_qnet = QNet(state_dim, action_dim) self.gamma = gamma self.epsilon = epsilon self.lr = lr self.optimizer = torch.optim.Adam(self.qnet.parameters(), lr=self.lr) self.buffer = ReplayBuffer(100000) self.loss_fn = nn.MSELoss() def act(self, state): if random.random() < self.epsilon: return random.randint(0, action_dim - 1) else: with torch.no_grad(): q_values = self.qnet(state) return q_values.argmax().item() def train(self, batch_size): state, action, reward, next_state = self.buffer.sample(batch_size) q_values = self.qnet(state).gather(1, action.unsqueeze(1)).squeeze(1) target_q_values = self.target_qnet(next_state).max(1)[0].detach() expected_q_values = reward + self.gamma * target_q_values loss = self.loss_fn(q_values, expected_q_values) self.optimizer.zero_grad() loss.backward() self.optimizer.step() def update_target_qnet(self): self.target_qnet.load_state_dict(self.qnet.state_dict()) ``` 4. 训练模型：使用DQN算法进行训练，并更新目标Q网络。 ```python dqn = DQN(state_dim, action_dim, gamma=0.99, epsilon=1.0, lr=0.001) for episode in range(num_episodes): state = env.reset() total_reward = 0 for step in range(max_steps): action = dqn.act(torch.tensor(state, dtype=torch.float32)) next_state, reward, done, _ = env.step(action) dqn.buffer.push(torch.tensor(state, dtype=torch.float32), action, reward, torch.tensor(next_state, dtype=torch.float32)) state = next_state total_reward += reward if len(dqn.buffer.buffer) > batch_size: dqn.train(batch_size) if step % target_update == 0: dqn.update_target_qnet() if done: break dqn.epsilon = max(0.01, dqn.epsilon * 0.995) ``` 5. 测试模型：使用训练好的模型进行测试。 ```python total_reward = 0 state = env.reset() while True: action = dqn.act(torch.tensor(state, dtype=torch.float32)) next_state, reward, done, _ = env.step(action) state = next_state total_reward += reward if done: break print("Total reward: {}".format(total_reward)) ``` 以上就是在PyTorch中实现DQN强化学习的基本步骤。需要注意的是，DQN算法中还有很多细节和超参数需要调整，具体实现过程需要根据具体问题进行调整。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值