redis cluster 性能探讨

缓存学习(十):分布式Redis之Redis Cluster 目录 1数据拆分 2 Redis Cluster配置 3集群搭建 4集群命令 4.1redis-cli的集群管理模式 4.2客户端命令 5原理 5.1节点通信 5.2槽的迁移 5.2.1集群收缩 5.2.2集群扩容 5.3请求路由和重定向 5.4故障转移 6 JedisCluster 6.1集群节点的自动发现 6.2JedisClus... 阅读详情

一些总结:

1. 多线程对同一个 Key 操作时, Redis 服务是根据先到先作的原则,其他排队(可设置为直接丢弃),因为是单线程。 

2. 修改默认的超时时间,默认 2 秒。但是大部份的操作都在 30ms 以内。

3. 对集群来说,

3.1 一般来说普通的服务器都是 50K~100K 级别 GET 操作并发(每个核心)这个水平,根据具体的部署方法和配套工具,会有浮动 

对本机的普通 Redis (非集群)来说, GET 操作在 70K~120K 级别。

评估方法: Redis 官方提供了 C 的库;官方的 redis-benchmark 工具用的就是 C 的库, redis-benchmark 的结果大致可以当成 使用 C 语言开发可以获得的性能。 
复杂的操作,一个复杂操作,你可以大致认为是若干个 GET 操作的级别,你用 redis-benchmark 跑一下,大概按比例估算一下就行了。 
如果你用的是其他的语言,用官网推荐的 client library 写一个简单的 sample 跑一下,把 redis 服务器的 info 打出来。 
redis-cli info 里面有已处理命令的统计。 
就我的使用来说, Java 的 Jedis 连接 Redis 的性能(并发量)在 C 的 70%这个水平 

3.2 . 一个实例扛不住,就用集群,我目前在用官方的 redis-cluster ,目前平均下来每个核心可以提供 85K 的并发,极限在每核心 100K 左右(单位是一次 C 语言 GET) 

 一个观点: ” 我目前在跑的 redis 集群服务器,测出来的是每核心 50K 左右(没跑满 CPU), 100K 是理论极限,估计不能达到, 85K 是估算的极限。我们认为继续优化意义不大,不如买服务器,就没继续研究了”

另外一篇关于 redis cluster百万QPS的挑战 ,里面讲了如何把redis实例帮到一个特定的CPU上,如何避免网卡软终端影响速度,如何分析gossip协议等,值得一看。

关于memcache和Redis的性能对比解释:

很多开发者都认为Redis不可能比Memcached快,Memcached完全基于内存,而Redis具有持久化保存特性,即使是异步的,Redis也不可能比Memcached快。但是测试结果基本是Redis占绝对优势。一直在思考这个原因,目前想到的原因有这几方面。

  • Libevent。和Memcached不同,Redis并没有选择libevent。Libevent为了迎合通用性造成代码庞大(目前Redis代码还不到libevent的1/3)及牺牲了在特定平台的不少性能。Redis用libevent中两个文件修改实现了自己的epoll event loop(4)。业界不少开发者也建议Redis使用另外一个libevent高性能替代libev,但是作者还是坚持Redis应该小巧并去依赖的思路。一个印象深刻的细节是编译Redis之前并不需要执行./configure。
  • CAS问题。CAS是Memcached中比较方便的一种防止竞争修改资源的方法。CAS实现需要为每个cache key设置一个隐藏的cas token,cas相当value版本号,每次set会token需要递增,因此带来CPU和内存的双重开销,虽然这些开销很小,但是到单机10G+ cache以及QPS上万之后这些开销就会给双方相对带来一些细微性能差别(5)。

相关的技术文章:

1)Linux技巧:多核下绑定网卡中断到不同CPU(core)总结


Redis Cluster 集群日常问题排查(二) Redis CLuster 常见问题 快速定位 阅读详情

相关推荐

redis 性能测试

wrapper 包装, 使用jedis 测试redis 读性能

第二节 Redis Cluster 集群与性能调优 2022-1-2

Java组件总目录 Redis Cluster 集群与性能调优Java组件总目录一 Redis-cluster 集群1.1 RedisCluster 集群创建1.2 工作原理节点说明1.3 Redis-cluster 投票:容错节点失效判断集群失效判断1.4 优缺点1.5 主从切换1.6 副本漂移1.7 扩展集群1 添加节点2 分配slot1.8 添加从节点1.9 收缩集群1 首先删除master对应的slave2 清空master的slot3 下线(删除)节点二 Redis数据存储的细节2.1 内存结构2

qq_21438267的博客 2511

Redis集群性能测试分析

Redis是一个非关系型数据库,属于内存级数据库。但是由于数据量的不断增大,单机的Redis物理内存远远无法满足大数据的需要,因此需要搭建分布式的Redis,可以动态扩展内存,弥补单机Redis物理内存不够的缺点。本次测试旨在对Redis各方面性能有深入的了解,为今后的工作打好基础。本次实验的目的主要是搭建Redis Cluster和TwemProxy Redis两种集群,分别对其进行性能测试,测试出集群性能的拐点,找出性能的瓶颈有哪些,并对两套集群进行比较,以便于在不同业务场景下择优选择。

【Redis】Redis Cluster 简单介绍

Redis Cluster 是 Redis 3.0 提供的一种分布式解决方案, 允许数据在多个节点之间分散存储, 从而实现高可用性和可扩展性。

LCN29的博客 1756

微信小程序-如何根据缩放屏幕大小自适应icon图标更改marker

微信小程序如何根据用户的缩放屏幕来改变marker图标icon的大小,实现icon自适应屏幕缩放的效果

Bartender_VA11的博客 3980

[Adaptive Autosar]深入理解--Time Synchronization

目录 1.TS典型应用场景 2.CP和AP时间同步对比 3.时间同步基础知识 4.TBR部分参数说明 5. TS功能说明 5.1 基本说明 5.2 时间纠正计算说明 5.3 时间验证 Time Synchronization 时间同步,后面简称TS 1.TS典型应用场景 时间同步,典型应用就是在自动驾驶领域,自动驾驶领域涉及到各个传感器的数据采集,如IMU采集当前车身姿态和运动信息,毫米波雷达-超声波雷达-环视摄像头-前视摄像头...等等传感器捕获的数据,在算法中需要精确知道每个数.

AgingMoon的博客 3997

【优质推荐】RedisCluster集群模式深入分析

Redis集群的做法是 将数据划分为 16384(2的14次方)个哈希槽(slots),如果你有多个实例节点,那么每个实例节点将管理其中一部分的槽位,槽位的信息会存储在各自所归属的节点中。Redis 集群的节点采用 Gossip 协议来广播信息,每个节点都会定期向其他节点发送ping命令,如果接受ping消息的节点在指定时间内没有回复pong,则会认为该节点失联了(PFail),则发送ping的节点就把接受ping的节点标记为主观下线。另外,单台服务机硬件扩容也是有限制的,不可能无限操作。

优秀技术文章收录 658

RYU+Mininet的SDN架构-设计校园网络(一)

现有一个中学,需要设计一个中小型网络满足学校的网络需求。学校有教学区,实验室区域和服务器区域。教学区为了满足接入的灵活性和信号强度要求,需要满足设计WIFI满足日常教室和同学需求,接入上限为200人。实验室区域需要有一台教师主机方便管理实验室其余电脑,并且教师主机可以访问学校服务器,方便为同学们实验室授课。学校服务器区域设有学校相关重要文件和学校网页相关内容。最后学校还会接入互联网。

weixin_53284122的博客 8034

redis集群的性能分析

redis 集群性能分析

Bella1990的博客 766

电赛综合测评题练习(一)-(与2013年电赛综合测评要求类似)

电赛综合测评题练习 文章目录电赛综合测评题练习前言1. 波形发生器1.1 题目说明1.1.1 可用器件1.1.2 设计要求1.1.3 设计方案论证1.2 仿真电路设计1.2.1 脉冲波发生器电路1.2.1.1 方案介绍1.2.1.2 理论分析与计算1.2.1.3 电路系统设计1.2.1.4 仿真方案与仿真测试结果1.2.2 锯齿波电路1.2.2.1 理论分析与计算1.2.2.2 电路系统设计1.2.2.3 仿真方案与仿真测试结果1.2.3 正弦波I电路1.2.3.1 理论分析与计算1.2.3.2 电路系

daydayup!的博客 3万+

Triton推理服务器实战:如何为PaddleOCR的ONNX模型配置动态批处理和并发推理

本文详细介绍了如何使用Triton推理服务器为PaddleOCR的ONNX模型配置动态批处理和并发推理,以提升GPU利用率和推理性能。通过实战案例和参数调优指南,帮助开发者解决高并发场景下的性能瓶颈问题,实现从实验室到生产环境的高效部署。

weixin_42527160的博客 426

【赵渝强老师】Redis Cluster分布式集群

日常在对于Redis的使用中经常会遇到一些问题,例如:如何保证Redis的持续高可用性?如何实现单实例Redis扩充?如何提升高并发时的性能问题?针对这些问题,在Redis 3.0版本中推出了Redis Cluster。它是Redis的分布式解决方案,并有效解决了Redis分布式方面的需求。当遇到单机的内存、并发和流量等瓶颈时,可以采用Redis Cluster架构达到负载均衡的目的。官方推荐,毋庸置疑。去中心化,集群最大可增加1000个节点,性能随节点增加而线性扩展。

赵渝强老师优快云博客主页 813

《C#零基础入门之百识百例》(七)算数运算符 -- 圆的面积

运算符是一种告诉编译器执行特定的数学或逻辑操作的符号。C# 有丰富的内置运算符,本文带你学习C# 中算数运算符。

陈言必行 -- Unity游戏开发领域优质博主 3613

分布式Redis集群--Cluster架构

分布式Redis高可用集群架构原理与部署

qq_44528357的博客 2994

把 ABAP 接到外部世界的几条路, 从 Web Service 到 RFC、BAPI 与 IDoc 的完整理解

摘要: ABAP 的连接能力是其长期成为企业核心的关键,不仅支持通用协议(HTTP、SOAP、XML),还保留了 SAP 特有的技术(RFC、BAPI、IDoc)。Web Service 是跨系统通信的主轴,依赖 SOAP/WSDL 实现契约化协作,而 Enterprise Service 更强调业务语义的复用与治理。经典技术如 RFC 和 BAPI 因高效稳定仍广泛使用,尤其适合紧耦合场景。ABAP 通过分层工具箱(如代理生成、服务注册)实现灵活集成,平衡新旧技术,满足多样化的企业连接需求。 (字数:15

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 138

具身智能(40):主流 VLA 模型π₀

摘要: π₀是首款专为机器人设计的VLA(视觉-语言-动作)端到端基础模型,通过双阶段训练实现“感知-决策-执行”闭环。其创新点包括:1)FlowMatching技术实现连续平滑动作控制(精度0.3°);2)结合VLM预训练与多机器人实操数据,零样本任务完成率达76.4%,远超同类模型;3)支持模糊指令理解与动态场景适应(如遮挡识别)。开源版本涵盖不同规模模型,适用于工业装配、服务机器人等场景,在延迟(213ms)和稳定性(92%自主恢复率)上显著领先OpenVLA等竞品。

码农17年的博客 510

深入理解Redis Cluster与Java应用的高级整合

Redis Cluster是Redis提供的分布式架构,用于分散数据到多个节点以实现高可用性和水平扩展。对于Java开发者来说,理解和实现Redis Cluster与Java应用的整合可以显著提升系统的性能和可靠性。本文将详细介绍Redis Cluster的基本概念、架构、配置步骤,并通过代码示例展示如何在Java应用中进行高级整合。

weixin_53840353的博客 1524

SAP B1中文培訓教材_SDK

公司内部培训资料,对开发工具 ,DIAPI, UIAPI,Add-ON有详细解说

redis架构演变与redis-cluster群集读写方案

redis架构演变与redis-cluster群集读写方案 导言 redis-cluster是近年来redis架构不断改进中的相对较好的redis高可用方案。本文涉及到近年来redis多实例架构的演变过程,包括普通主从架构(Master、slave可进行写读分离)、哨兵模式下的主从架构、redis-cluster高可用架构(redis官方默认cluster下不进行读写分离)的简介。同时还介绍使...

tianwailaikewbb的专栏 298

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

Redis架构与Redis-cluster

导言Redis-cluster 是近年来 Redis 架构不断改进中的相对较好的 Redis 高可用方案。本文涉及到近年来 Redis 多实例架构的演变过程,包括普通主从架构(Master、slave 可进行写读分离)、哨兵模式下的主从架构、Redis-cluster 高可用架构(Redis 官方默认 cluster 下不进行读写分离)的简介。同时还介绍使...

xingduan5153的博客 145

玩转Redis集群之Cluster

前面我们介绍了国人自己开发的Redis集群方案——Codis,Codis友好的管理界面以及强大的自动平衡槽位的功能深受广大开发者的喜爱。今天我们一起来聊一聊Redis作者自己提供的集群方案——Cluster。希望读完这篇文章,你能够充分了解Codis和Cluster各自的优缺点,面对不同的应用场景可以从容的做出选择。 Redis Cluster是去中心化的,这点与Codis有着本质的不同,Redi...

K_Ohaha的博客 525

redis高可用哨兵与集群cluster

redis cluster 有多种部署方法原生命令安装理解Redis Cluster架构生产环境不使用官方工具安装高效、准确生产环境可以使用自主研发可以实现可视化的自动化部署3.3 实现集群由于是模拟一台服务器实现,就从刚一安装好redis开始。开启多实例 来实现redisredis的集群一般需要6个节点,3主3从。方便起见,这里所有节点在同一台服务器上模拟:以端口号进行区分:3个主节点端口号:6001/6002/6003,对应的从节点端口号:6004/6005/6006。

2301_78327423的博客 1029

redis:Redis Cluster与Sentinel模式深度解析与架构选型指南

阿里云全球部署方案核心业务:Cluster多可用区部署边缘业务:Sentinel主从架构关键配置:# Cluster配置# Sentinel配置字节跳动混合架构// 根据Key特征自动路由} else {美团监控指标体系fill:#333;color:#333;color:#333;fill:none;Cluster监控Slot平衡度节点负载方差跨节点操作比Sentinel监控主从延迟选举成功率通用指标故障转移时间Key分布热度选型决策树选择Cluster。

weixin_43290370的博客 1433

Redis Cluster模式:架构与优化

在分布式系统中,数据一致性和高可用性是至关重要的。随着Redis在缓存领域的广泛应用,如何确保Redis集群在分布式环境下的稳定性和高效性成为了开发者和运维人员关注的焦点。Redis Cluster模式应运而生,它通过将多个Redis节点组织成一个集群,实现了数据的分布式存储和访问,从而提高了系统的可扩展性和容错能力。在传统的Redis单机部署中,当数据量达到单机处理极限时,系统性能会急剧下降,甚至出现单点故障。

我是Java程序员廖志伟,感谢朋友们的支持!不定期贡献一篇高品质、过万文字、图文并茂且附有视频解说、满载代码示例注释的良心之作,坚决杜绝粗制乱造。 1042

Redis集群部署深度解析:主从、哨兵、分片与Cluster模式实战指南

通过本文的深度解析,读者可以全面掌握Redis集群的核心技术与实战技巧,为构建高可用、高性能的分布式系统提供坚实基础。Redis作为高性能的键值存储系统,广泛应用于缓存、实时分析、消息队列等场景。分片通过将数据分散到多个Redis实例,突破单机内存和性能限制。本文将深入探讨每种方案的实现原理、部署细节及适用场景。

格子先生Lab的博客 2701
上一篇: redis cluster 添加 删除 重分配 节点
下一篇: 【推荐】二叉树的递归与非递归遍历实现
大树叶
博客等级 码龄12年 1171粉丝 664原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值