(分片连接池)客户端分片的Jedis分布式(Sharding/shared一致性哈希)(redis2.8)

Redis 分片你只会 Cluster?这套客户端 Sharding 才是老项目救命稻草 这次 Redis 面试还在背「取模分片」?那你可真够勇的。本文用真实线上事故开场,带你从客户端 Sharding 的设计思路、分片算法、扩容迁移到面试高频延伸问题,一次讲透 Redis 客户端分片实战。社招高频考点,拿去就能用,面试官听完点头的那种。 阅读详情

该方案缺点:分片的每个redis server没有做HA高可用。



目前Redis(2.8)实现集群的方法主要是采用一致性哈稀分片(Shard),将不同的key分配到不同的redis server上,达到横向扩展的目的

Memcached是在Server端完成Sharding,Redis只能依靠各个Client做Sharding

切片链接池

        JedisPoolConfig config =new JedisPoolConfig();//Jedis池配置

          config.setMaxActive(500);//最大活动的对象个数

          config.setMaxIdle(1000 * 60);//对象最大空闲时间

          config.setMaxWait(1000 * 10);//获取对象时最大等待时间

          config.setTestOnBorrow(true);


        String hostA = "10.10.224.44";

          int portA = 6379;

          String hostB = "10.10.224.48";

          int portB = 6379;

        List<JedisShardInfo> jdsInfoList =new ArrayList<JedisShardInfo>(2);

        JedisShardInfo infoA = new JedisShardInfo(hostA, portA);

        infoA.setPassword("redis.360buy");

        JedisShardInfo infoB = new JedisShardInfo(hostB, portB);

        infoB.setPassword("redis.360buy");

        jdsInfoList.add(infoA);

        jdsInfoList.add(infoB);

        ShardedJedisPool  pool=new ShardedJedisPool(config,jdsInfoList,Hashing.MURMUR_HASH,Sharded.DEFAULT_KEY_TAG_PATTERN);

或者

<beans  xmlns="http://www.springframework.org/schema/beans"
       xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
       xmlns:context="http://www.springframework.org/schema/context"
       xsi:schemaLocation="
      http://www.springframework.org/schema/beans
      http://www.springframework.org/schema/beans/spring-beans-3.0.xsd
      http://www.springframework.org/schema/context
      http://www.springframework.org/schema/context/spring-context-3.0.xsd">

    <context:property-placeholder ignore-resource-not-found="true" location="classpath:/connect-redis.properties"/>

    <bean id="jedisPoolConfig" class="redis.clients.jedis.JedisPoolConfig">
        <property name="maxTotal" value="100" />
        <property name="maxIdle" value="100" />
        <property name="numTestsPerEvictionRun" value="1024" />
        <property name="timeBetweenEvictionRunsMillis" value="30000" />
        <property name="minEvictableIdleTimeMillis" value="-1" />
        <property name="softMinEvictableIdleTimeMillis" value="10000" />
        <property name="maxWaitMillis" value="1500" />
    </bean>

    <bean id="shardedJedisPool" class="redis.clients.jedis.ShardedJedisPool">
        <constructor-arg index="0" ref="jedisPoolConfig" />
        <constructor-arg index="1">
            <list>
                <bean  class="redis.clients.jedis.JedisShardInfo">
                    <constructor-arg name="host" value="${redis.first.host}"  />
                    <constructor-arg name="password" value="${redis.first.password}" />
                </bean>
                <bean  class="redis.clients.jedis.JedisShardInfo">
                    <constructor-arg name="host" value="${redis.second.host}"  />
                    <constructor-arg name="password" value="${redis.second.password}" />
                </bean>
            </list>
        </constructor-arg>
    </bean>
</beans>


redis jedis 单机、集群、分片存储连接操作redis 单机版:该类主要完成redis基础功能,若redis为单机版时,该方式即可。 但若连接redis集群时,该方式只能获取指定库的键值,表现形式为 取数据不完整。 集群版:redis集群连接. 分片存储:redis分片存储,该方式通过计算hash把数据均匀的存储在相应的redis库中,该方式只能操作通过分片存储的数据,其他单独客户端存储的数据,因hash定位 问题,无法找到键值数据。 立即下载

相关推荐

详解STM32F407双重ADC同步采集与DMA传输的配置技巧及实战应用

本文详细解析了STM32F407双重ADC同步采集与DMA传输的配置技巧及实战应用。通过CubeMX配置、代码实现和常见问题解决方案,帮助开发者高效实现多通道数据同步采集,提升工业自动化和嵌入式系统的数据采集效率与精度。

ii567的博客 366

利用 ShardingSphere-JDBC 实现分库分表实践

来源:https://www.cnblogs.com/wingsless/p/11406481.html 作者:wingsless 利用ShardingSphere-JDBC实现分库分表 1. ShardingSphere概述 1.1 概述 业务发展到一定程度,分库分表是一种必然的要求,分库可以实现资源隔离,分表则可以降低单表数据量,提高访问效率。 分库分表的技术方案,很久以来都有两种理念: ...

架构文摘 861

欧姆龙SYSMAC STUDIO如何与基恩士SR-1000进行EIP通信

简要介绍一下扫码枪和欧姆龙sysmac的配置

weixin_42031602的博客 4799

shading-proxy服务入门配置

shading-proxy服务入门配置简介部署下载部署配置 简介 Sharding-Proxy是一个分布式数据库中间件,定位为透明化的数据库代理端。主要功能是分库分表,他是一个独立部署的服务端,提供统一的数据库代理服务,注意,ShardingProxy目前只支持MySQL和PostgreSQL。你可以把它这个中间件当做一个数据库来看。它的整体架构图如下: 部署 下载 地址:https://shardingsphere.apache.org/document/legacy/4.x/document/en/d

weixin_38294968的博客 977

NR RRC协议(2)---RRC连接建立流程

RRC连接建立目的是建立SRB1 RRC连接建立还用于将初始NAS消息从UE传送到网络 RRC连接的初始阶段期间,不激活AS安全性 RRC连接建立由UE侧发起

crg2046的博客 1957

FastAPI + React:现代 Web 前后端分离开发的全栈实践指南

• 部署:CI/CD 双流水线,前端 push → GitHub Actions → Cloudflare Pages;• 后端:分层结构 routers → services → repositories → models,单测覆盖率 90 %。• 接口缓存:Redis + FastAPI Depends 实现接口级缓存,读 QPS 提升至 5 k。• 前端:BFF 由 React Query 代理,统一缓存、重试、分页。GET /items/{id} 详情。,前端同学无需等 Mock 即可联调。

未来已来,AI时代,学AI编程,做AI量化,就来大鹏AI教育。 1497

用sharding技术来扩展你的数据库(hash分布扩展,一致性哈希)

用sharding技术来扩展你的数据库 (二) 标签:Big_DataDatabaseSharding EMC中国研究院大数据组研究员 郭小燕 摘要: 本部分首先简单介绍sharding系统的基本架构,然后重点介绍sharding机制中常用的三种表数据划分方法。   一.  数据划分算法   1. Sharding 系统的基本结构   上节我们说到

炎黄的专栏 9014

Clipper库中文帮助文档

引言: 第一次接触Clipper,主要是想用来处理DXF中的图形,网上也有博友翻译过,但是可惜打不开,好像那个网站https://love2.io凉凉了,但是优快云上也有博友分享了CHM,看着只剩3个下载币的我好无奈,一怒之下花费两天的时间将英文CHM也翻译了一遍,主要还是想在翻译的同时好好的理解Clipper,为使用打下坚实的基础。当然我也会无私的奉献出来。 简单的认识一下Clipper:...

zefllj的博客 3424

shardingjdbc水平分库分表配置以及垂直分库配置

值得注意的是,使用druid连接池,连接字符串属性用url,而使用hikari连接池,连接字符串属性要用jdbc-url。2、springboot配置文件如下。

woshihedayu的博客 599

OpenCV实战:用C++和Python实现亚像素边缘检测(附完整代码)

本文详细介绍了使用OpenCV实现亚像素边缘检测的技术,通过C++和Python双语言代码解析,提升工业测量和医学影像中的检测精度。文章涵盖算法原理、核心实现步骤及工业应用案例,帮助开发者掌握亚像素精度处理技术,解决高精度场景中的边缘检测难题。

beer8的博客 376

OCC入门指南:从零开始掌握Open CASCADE Technology

本文是Open CASCADE Technology(OCC)的入门指南,详细介绍了这款开源C++三维几何建模内核的核心概念与价值。内容涵盖从零开始搭建开发环境、编写第一个显示立方体的程序,到深入理解其几何与拓扑核心、掌握Draw测试工具及Handle内存管理等关键编程范式,旨在帮助开发者快速掌握这一工业级CAD/CAE/CAM应用开发利器。

java5的博客 1276

Sharding-JDBC 实战 - 分片策略4:Hint强制路由HintShardingStrategy

通常,Sharding-JDBC 会根据 SQL 中的条件自动进行分片路由。但是,在某些情况下,开发人员可能希望手动指定分片键,以便更精确地控制数据路由。这时就可以使用 Hint 强制路由策略。在中定义 Hint 强制路由策略。tables:t_order:hint:Hint 强制路由策略为开发人员提供了一种手动指定分片键的方式,能够更精确地控制数据路由。希望本文的介绍能帮助你在项目中更好地应用 Sharding-JDBC 的 Hint 强制路由策略。如有进一步问题,欢迎交流探讨。

qq_33240556的博客 1191

HyperLynx(二十二)DDR(五)DDRx总线时序模型设计

DDR3 的数据选通信号与时钟信号的频率是一样的,在数据选通信号写操作时,控制器典型的输出方式是数据选通信号边沿与时钟近似对齐。该界面中显示了所有需要编辑的参数,包括地址/命令信号的时序、控制信号的时序、读和写操作的数据选通和数据信号时序、写操作的数据选通和数据掩码信号时序,以及建立和保持时间的降额参数。由于DDRx总线对时序的要求非常严格,随着速率的提升,时序的要求会更高。反之也是一样的,如果数据选通信号的上升沿在时钟信号上升沿的后面到达 DRAM,那么数据选通信号的下降沿就会在时钟信号的前面到达。

小幽余生不加糖 1938

Java 性能 21 - 分布式缓存优化(Redis 分片)

本文探讨了如何通过Redis分片技术解决单机Redis的性能瓶颈问题。随着业务数据量和访问流量的增长,单机Redis会面临内存容量限制、CPU/网络瓶颈和单点故障等问题。Redis分片通过水平拆分数据到多个实例,实现容量和性能的线性扩展。文章详细介绍了哈希取模、一致性哈希和虚拟槽三种分片策略,并重点演示了基于Jedis和Spring Data Redis的一致性哈希分片实现方案,包括分片连接池配置和缓存管理。通过分布式缓存架构,可构建高可用、高性能的可扩展系统。

千淘万漉虽辛苦,吹尽狂沙始到金 2万+

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

SAP B1中文培訓教材_SDK

公司内部培训资料,对开发工具 ,DIAPI, UIAPI,Add-ON有详细解说

Jedis分片连接池(分布式)

一下内容来自网络,但是很多细节没有写出来,所以我经过自己琢磨,终于找到原因了。 Redis-2.4.15目前没有提供集群的功能,Redis作者在博客中说将在3.0中实现集群机制。目前Redis实现集群的方法主要是采用一致性哈稀分片(Shard),将不同的key分配到不同的redis serv...

cihongmo6452的博客 207

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

Redis集群的方案总结:客户端Sharding/Redis Cluster/Proxy

转载:redis sentinel设计与实现 转载:分布式一致性算法(一)一致性哈希算法(consistent hashing) 转载:Jedis下的ShardedJedis(分布式)使用方法(一) 转载:分布式缓存技术redis学习系列(四)——redis高级应用(集群搭建、集群分区原理、集群操作) 转载:Codis集群的搭建与使用 转载:Twemproxy 介绍与使用 一、Redi

Invoker's Tower 8994

IMSL CNL 7.0.0 (x86-64)Crack

IMSL CNL 7.0.0 (x86-64)Crack intel的算法库破解文件,这是C++版本的破解文件

redis几种java客户端比较:jedis、redisson、lettuce

jedis、redisson、lettuce 概况 Jedis是Redis的Java实现的客户端,其API提供了比较全面的Redis命令的支持; Jedis中的方法调用是比较底层的暴露的Redis的API,也即Jedis中的Java方法基本和Redis的API保持着一致,了解Redis的API,也就能熟练的使用Jedis。 Redisson实现了分布式和可扩展的Java数据结构,提供很多分布式相关操作服务,例如,分布式锁,分布式集合,可通过Redis支持延迟队列。和Jedis相比,功能较为简单,.

zhanghongzheng3213的专栏 3192

Redis中的客户端Sharding

Jedis 客户端提供了Redis Sharding 的方案,并且支持连接池。 ShardedJedis public class ShardingTest { public static void main(String[] args) { JedisPoolConfig poolConfig = new JedisPoolConfig(); // Redis服务器 JedisShardInfo shardInfo1 = new JedisS

Leon_Jinhai_Sun的博客 228

【Redis 神秘大陆】008 常见Java客户端

连接池里面放置的是空闲连接,如果被使用 (borrow)掉,连接池就会少一个连接,连接使用完后进行放回 (return),连接池会增加一个可用连接。如果没有可用连接,便会新建连接。

黄金时代的架构之路 1163

Redis Sharding集群跟一致性哈希有什么瓜葛?

目录 一、前言 二、Redis sharding集群 1、概念及优劣: 2、数据倾斜问题 3、数据丢失问题 4、应用 三、后话 四、参考 一、前言 最近在所负责的某些系统上遇到了一些Redis相关的问题,刚好在朋友圈聊到Cluster和Sharding这方面的东西,发现有些地方比较模糊,考虑到之前也整理了关于Sentinel集群模式,趁着有点力气整理一下Sharding的一些相关资料。 Cluster模式后面有时间再补充吧。 二、Redis sharding集群 1、概..

justyman的博客 1223

java jedis multi_Redis Java客户端之Jedis

依赖项:redis.clientsjedis2.9.0一、jedis对应redis的四种工作模式Jedis,JedisCluster,JedisSentinel和ShardedJedis对应了Redis的四种工作模式:Redis Standalone(单节点模式),Redis Cluster(集群模式),Redis Sentinel(哨兵模式)和Redis Sharding(分片模式)。二、je...

weixin_31903257的博客 685

Redis Sharding(分片)技术学习

1.redis cluster介绍redis cluster在3.0版本或者以上版本提供,采用sharding技术。Sharding采用slot(槽)的概念,一共分成16384个槽。对于每个进入Redis的键值对,根据key进行散列,分配到这16384个slot中的某一个中。使用的hash算法也比较简单,就是CRC16后16384取模。Redis集群中的每个node(节点)负责分摊这16384个sl

疾风sxp的博客 4602
上一篇: Redis Cluster集群主从方案(附Jedis Cluster教程)
下一篇: Redis Sentinel主从高可用方案(附Jedis Sentinel教程)
java20150326
博客等级 码龄12年 20粉丝 75原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值