Redis Pipeline还可以这么用的

抛出,问题

最近项目碰到这么一个技术上的需求:

前端通过长轮询的机制(http long polling),获取服务端的消息数据。而服务端是需要订阅所有业务方的业务消息,再通知到给前端。

长轮询,其实简单来说,就是前端发起一个http请求,服务端把当前的请求 hang 住,直到超时或者有需要返回的内容,才return。 Apollo 配置中心就是使用这个机制实现配置的更新通知。

但有这么一种情况,假如服务端消费到消息,但此时前端与服务端的连接刚好断开了,那这个消息就没法通知到前端。

所以,我们得需要把服务端消费的消息保存下来,保证前端的每次发起长轮询的时候,都能拿到消息数据。

如果说,前端能直接订阅业务方的消息队列的话,那其实就没服务端什么关系了。当然,这是不允许的,前端不能连接咱们的消息中间件,并且业务方的消息数据也需要清洗处理后才能给到前端。

思考,方案

Apollo 的实现机制是,所有的配置都会写入数据库。每次请求过来,会去数据库获取是否有数据变更。

考虑到我们实际的业务场景,我们的业务消息其实时候时效性的,也就是说消息如果过期了,那其实也没用了。

要考虑轻量,我第一想到的就是 Redis Lists,利用其可以实现队列的特性,所以综合考虑最终采用 Redis 作为消息的存储模型。

优化,代码

Redis 的 Lists 数据结构,是简单的字符串链表,按插入顺序排序。可以在头部(Left)或者尾部(Right)添元素。

利用这个特性,我们可以实现队列(先进先出)的数据结构,搭配命令 rpush + lpop 或者 lpush + rpop 。

但是不管是 lpop 或是 rpop ,列表都只会弹出一个数据,没法达到我们的需求一次获取多个。

网上搜索了一下相关的解决方案,再结合官网的命令文档。

得出一种比较可行的方案: lrange + ltrim + pipeline

lrange 和 ltrim 是Redis Lists 的指令

lrange mylist 0 5

表示从队列头部(Left)开始取,下标为0,到下标为5的元素。如果是负数的话,表示队列尾部(Right)开始取。

ltrim mylist 0 5

ltrim 的含义是只保留指定范围的元素,上面的意思是,只保留列表下标为 0 - 5 的元素,其他的都会被删掉。

那如果要删掉前6条数据,就可能需要这么写:

ltrim mylist 5 -1

负数表示队列尾部(Right)开始取。

按实现来说, lrange + ltrim 就能实现从 List 获取多个元素的效果,为什么还需要用上 pipeline 呢?

其实这里有一个很显然的并发问题,这两个命令对于redis来说, 并不是原子操作 ,假如有其他线程在执行这两个命令的线程之间,删除了队列的一部分数据,那么第二个命令执行的时候,其实是list里面的数据已经是不对了。

而 Redis 的 pipeline 功能,可以解决我们上面说的这个问题。

大部分人可能对pipeline 比较陌生,因为平时业务上也很少用到。

先来看看 Redis Pipelining 的定义

A Request/Response server can be implemented so that it is able to process new requests even if the client hasn't already read the old responses. This way it is possible to send multiple commands to the server without waiting for the replies at all, and finally read the replies in a single step.

This is called pipelining, and is a technique widely in use for many decades. For instance many POP3 protocol implementations already support this feature, dramatically speeding up the process of downloading new emails from the server.

简单来说,它能够支持支持客户端一次发送多个命令,服务端接收到这些命令后,会统一按顺序处理,并且是在一个原子事务里。

显然,Pipelining 最明显的优势在于提高 client 与 server 的交互响应时间。将几个命令放在同一个请求中,和每个命令作为一个请求相比,效率是肯定提高的。

PS:这种方式,跟我为什么要获取多个list 数据的思路类似的。前端长轮询获取数据结果时,要返回多个数据。

话不多说,直接贴上示例代码:

@AutowiredRedisTemplate<String, Object> redisTemplate;public void run() throws Exception {    System.out.println("start......");    String key = "key:list";    Integer number = 5;    // 每次获取5个    List<Object> objects = redisTemplate.executePipelined(new RedisCallback<Object>() {        @Override        public Object doInRedis(RedisConnection connection) throws DataAccessException {            connection.lRange(key.getBytes(StandardCharsets.UTF_8), 0, number - 1);            connection.lTrim(key.getBytes(StandardCharsets.UTF_8), number, -1);            return null;        }    });    System.out.println(Arrays.toString(objects.toArray()));    System.out.println("end......");}

redisTemplate 提供了两种类型的方法:

  • executePipelined(RedisCallback action)
  • executePipelined(SessionCallback session)

这两者实现的功能都差不多,只不过 SessionCallback 比 RedisCallck 封装的更友好一下,后者的话更加底层,用法更加贴近与原生命令。

 

<think>首先,用户的问题是:“我想了解RedisPipeline原理请问RedisPipeline原理及工作机制”。所以,我需要基于给定的引用材料来解释RedisPipeline的原理和工作机制。引用材料总结:-[^1]:提到了RedisPipeline的基本使用和优势(性能提升、快速响应等)。-[^2]:解释了RedisPipeline的原理,包括它在命令行中没有,但Redis支持。强调了网络延迟的影响:即使Redis服务器处理能力强,但由于收到的消息少,吞吐量小。-[^3]:讨论了RedisPipeline与mget和事务的区别。Pipeline是多个命令打包发送,减少网络时间;不同于mget的命令对应多个键值对,Pipeline是多个不同命令;不是原子操作;与事务不同。-[^4]:给出了Java中Jedis使用Pipeline的代码示例。核心是关于Pipeline的原理和工作机制。关键点:-原理:Pipeline通过将多个命令打包成一个批次发送到Redis服务器,而不是每条命令都单独发送请求并等待响应。这样减少了网络往返时间(RTT),从而提高了吞吐量。-工作机制:客户端发送多个命令而不等待每个的响应,服务器在接收到Pipeline后顺序执行所有命令,然后将所有结果一次性返回给客户端。-与网络延迟的关系:由于网络延迟是主要瓶颈,减少了发送次数可以显著提升性能。-引用[^2]特别指出:Pipeline在命令行中不存在,但Redis支持;重点是减少网络开销。我的回答需要:-使用中文回答。-结构化清晰:逐步解释。-必须使用行内数学表达式用$...$,如提及变量时。-独立公式用$$...$$单独成段。-回答真实可靠:基于引用材料。-末尾添加引用标识。-生成相关问题:在最后添加“相关问题”部分。结构:1.引言:简要介绍Pipeline是什么,为什么重要。2.原理和工作机制:-解释网络延迟问题。-描述Pipeline如何工作(客户端打包命令,批处理)。-说明服务器的执行方式。-提及它是非原子操作。3.关键点:基于引用[^3],区分Pipeline与mget和事务。4.可能包括一个简单的伪代码或例子来阐释。5.总结优势。6.相关问题。伪代码例子:在引用[^4]中有Java代码,我可以参考或简单描述。数学表达:如果有变量,如网络延迟,用$...$。例如,网络延迟时间$t$。完整回答结构:-标题:RedisPipeline原理及工作机制-正文:-Pipeline的基本概念。-原理:减少网络RTT。-工作机制:客户端批处理,服务器执行。-细节:非原子性,顺序执行等。-一个简单示例(如有)。-引用材料末尾添加。相关问题:-类似于系统指令中的示例:例如,“如何实现RedisPipeline?”、“Pipeline在实际应用中的优化?”、“Pipeline和事务的区别?”确保回答清晰、逐步:1.什么是Pipeline。2.为什么需要Pipeline。3.如何工作。4.优点和注意事项。5.相关区别。最终添加:相关问题部分。</think> ### Redis Pipeline原理及工作机制 Redis Pipeline是一种客户端优化技术,用于提升与Redis服务器的交互效率。它的核心原理是通过将多个命令打包成一个批次发送,减少网络往返时间(RTT),从而提高吞吐量和响应速度[^2]。下面我将一步步解释其工作原理和机制,确保内容基于引用材料。 #### 1. Pipeline的基本概念 Redis Pipeline允许客户端一次发送多个命令到服务器,而不需要等待每个命令的响应。这避免了传统交互模式的“请求-响应”循环带来的延迟。例如: - 在传统模式下,客户端发送一个命令后,必须等待服务器响应才能发送下一个命令。这会导致多次网络延迟。 - 在Pipeline模式下,客户端累积多条命令,一次性发送;服务器顺序执行所有命令后,将所有结果一次性返回。 这种机制特别适用于高延迟网络环境,能显著减少因网络开销引起的瓶颈[^1]。 #### 2. 原理:减少网络往返时间 Pipeline的核心原理是解决网络延迟问题。网络延迟$t$(单位:毫秒)是影响Redis性能的主要因素: - 如果每次请求都需要独立的网络往返,则总时间为$n \times (t + t_{\text{exec}})$,其中$n$是命令数,$t_{\text{exec}}$是服务器执行单条命令的时间。 - Pipeline将$n$个命令打包后,总时间降低为$t + n \times t_{\text{exec}}$(打包发送一次,加上服务器执行时间)。公式表达为: $$ \text{总时间} \approx \frac{\text{命令数}}{\text{吞吐量}} + \text{网络延迟} $$ 当命令数较大时,Pipeline能减少$O(n)$倍的网络延迟影响,使吞吐量最大化[^2][^3]。 #### 3. 工作机制详解 Pipeline的工作机制涉及客户端和服务器的协同: - **客户端步骤**: - 客户端积累多个命令(例如,`GET key1`, `SET key2 value`, `INCR key3`)。 - 不等待任何响应,将整个批次发送到Redis服务器。 - 在发送完所有命令前,客户端可以继续添加新命令到Pipeline队列。 - 参考引用[^4],Java中使用Jedis库实现Pipeline的示例代码: ```java // 基于引用[^4]的代码 Jedis jedis = jedisPool.getResource(); Pipeline pipeline = jedis.pipelined(); pipeline.get("key1"); pipeline.set("key2", "value"); pipeline.incr("key3"); List<Object> results = pipeline.syncAndReturnAll(); // 发送批次并获取所有结果 jedis.close(); ``` - **服务器步骤**: - Redis服务器接收批次命令后,按命令顺序依次执行(非原子操作,执行中途可被其他客户端操作中断)。 - 服务器将所有命令的结果缓存,然后在处理完成后一次性返回给客户端。 - **关键优势**: - 网络开销最小化:减少RTT次数,提升吞吐量(例如,在千兆网络上,Pipeline能将QPS提高5-10倍)。 - 适用于高并发场景:满足现代应用对快速响应和可扩展性的需求[^1][^2]。 #### 4. 注意事项和区别 Pipeline不是万能的,需注意以下关键点: - **非原子操作**:Pipeline不是事务。服务器执行命令时,中途可能被其他客户端命令打断,因此不保证原子性(例如,如果在执行过程中服务器重启,部分命令可能失效)。这与Redis事务(使用`MULTI`/`EXEC`)不同,后者保证了原子性[^3]。 - **与mget的区别**: - mget(如`MGET key1 key2`)是一个命令对应多个键值对,用于批量读取,是原子操作。 - Pipeline可处理多个不同命令(如`GET`, `SET`, `INCR`等),但非原子,依赖于客户端实现[^3]。 - **性能考虑**:Pipeline不适合所有场景。例如,如果批次太大,会占用客户端内存或阻塞服务器。最佳做法是测试不同批次大小(如每次发送100-1000条命令)。 #### 5. 总结 Redis Pipeline机制的本质是减少网络延迟的成本,通过批处理实现高效率。它在客户端累积命令、服务器顺序执行中工作,显著提升了Redis的吞吐量和响应能力,是构建高性能应用的关键工具[^1][^3]。 相关问题: 1. Redis Pipeline如何在代码中实现和优化? 2. PipelineRedis事务的具体区别是什么? 3. 在实际项目中,Pipeline的常见应用场景有哪些? 4. PipelineRedis服务器资源消耗有什么影响? [^1] [^2] [^3] [^4]
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值