深入剖析 Redis5.0 全新数据结构 Streams(消息队列的新选择)

Stream 数据类型 Redis 5.0 版本新增了 Stream 数据类型(数据结构),它给 Redis 带来了支持持久化、消费者 ack 、断点消费、多消费者组的消息队列。 Stream 从概念上来说就像是一个消息链表,把所有发布的消息都一个个串起来,每个消息都有一个唯一的 ID。 可以把 Stream 看作是轻量级的内存版 kafka。 阅读详情

点击上方“芋道源码”,选择“置顶公众号”

技术文章第一时间送达!

源码精品专栏

 

来源:阿飞的博客

Redis 5.0 全新的数据类型:streams,官方把它定义为:以更抽象的方式建模日志的数据结构。Redis的streams主要是一个append only的数据结构,至少在概念上它是一种在内存中表示的抽象数据类型,只不过它们实现了更强大的操作,以克服日志文件本身的限制。

如果你了解MQ,那么可以把streams当做MQ。如果你还了解kafka,那么甚至可以把streams当做kafka。

另外,这个功能有点类似于redis以前的Pub/Sub,但是也有基本的不同:

  • streams支持多个客户端(消费者)等待数据(Linux环境开多个窗口执行XREAD即可模拟),并且每个客户端得到的是完全相同的数据。

  • Pub/Sub是发送忘记的方式,并且不存储任何数据;而streams模式下,所有消息被无限期追加在streams中,除非用于显示执行删除(XDEL)。

  • streams的Consumer Groups也是Pub/Sub无法实现的控制方式。

streams数据结构

streams数据结构本身非常简单,但是streams依然是Redis到目前为止最复杂的类型,其原因是实现的一些额外的功能:一系列的阻塞操作允许消费者等待生产者加入到streams的新数据。另外还有一个称为Consumer Groups的概念,这个概念最先由kafka提出,Redis有一个类似实现,和kafka的Consumer Groups的目的是一样的:允许一组客户端协调消费相同的信息流!

redis源码中定义streams结构的源码如下,由源码可知,stream的核心数据结构是radix tree:

typedef struct stream {
    rax *rax;               /* The radix tree holding the stream. */
    uint64_t length;        /* Number of elements inside this stream. */
    streamID last_id;       /* Zero if there are yet no items. */
    rax *cgroups;           /* Consumer groups dictionary: name -> streamCG */
} stream;

源码参考:https://github.com/antirez/redis/blob/5.0.0/src/stream.h;

至于redis对radix tree的实现,参考源码:https://github.com/antirez/redis/blob/5.0.0/src/rax.c 和 https://github.com/antirez/redis/blob/5.0.0/src/rax.h 。网上也有很多radix tree的文章,本篇文章就不做过多的介绍了。下面给出一张从官方源码中的部分截图:

radix tree

radix tree

streams基础

为了理解streams的目的,以及如何使用它,我们先忽略掉所有高级特性,只把注意力放在数据结构本身,以及那些操作和访问streams的命令。这基本上也是大多数其他Redis数据类型共有的部分,例如Lists,Sets,Sorted Sets等。然而需要注意的是,Lists也有一个更复杂的阻塞式的API,例如BLPOP,BRPOP等。streams这方便的API也没什么不同,只是更复杂,更强大(更牛逼,哈)!

streams命令

废话不多说,先上手玩玩这个全新的数据类型。streams这个数据类型对应有如下13个操作命令,所有命令都以"X"开头:

XADD

用法:XADD key ID field string [field string …]
正如其名,这个命令就是用来添加的,给streams追加(append,前面提到过:streams主要是一个append only的数据结构)一个新的entry(和Java里的Map类似,Redis里的streams中的数据也称为entry)。

key:的含义就是同一类型streams的名称;
ID: streams中entry的唯一标识符,如果执行XADD命令时,传入星号(*),那么,ID会自动生成,且自动生成的ID会在执行XADD后返回,默认生成的ID格式为millisecondsTime+sequenceNumber,即当前毫秒级别的时间戳加上一个自增序号值,例如"1540013735401-0"。并且执行XADD时,不接受少于或等于上一次执行XADD的ID,否则会报错:ERR The ID specified in XADD is equal or smaller than the target stream top item;
field&string:接下来就是若干组field string。可以把它理解为表示属性的json中的key-value。例如,某一streams的key命名为userInfo,且某个用户信息为{"username":"afei", "password":"123456"},那么执行XADD命令如下:

127.0.0.1:6379> xadd userInfo * username afei password 123456
"1540014082060-0"

由于命令中ID字段的值是星号,所以自定生成ID,1540014082060-0就是自动生成的ID。 XADD命令也支持显示指定ID,例如:XADD streamname 0-2 foo bar。

  • 时钟回拨

需要注意的是,ID的时间戳部分是部署Redis服务器的本地时间,如果发生时钟回拨会怎么样?如果发生始终回拨,生成的ID的时间戳部分就是回拨后的时间,然后加上这个时间的递增序列号。例如当前时间戳1540014082060,然后这时候发生了时钟回拨,且回拨5ms,那么时间戳就是1540014082055。假设以前已经生成了1540014082055-0,1540014082055-1,那么这次由于时钟回拨,生成的ID就是1540014082055-2。所以允许自动生成的ID在发生时钟回拨时少于上次的ID,但是不允许显示指定一个少于上次的ID。

XDEL

用法:XDEL key ID [ID …]
和XADD相反,这是命令用来从streams中删除若干个entry,并且会返回实际删除数,这个删除数可能和参数ID个数不等,因为某些ID表示的消息可能不存在。执行命令如下,第二个参数ID是不存在的,所以XDEL的返回结果是1:

127.0.0.1:6379> XDEL userInfo "1540014379642-0" "1540014379642-1"
(integer) 1
XLEN

用法:XLEN key
很好理解,这个命令就是用来返回streams中有多少个entry。执行如下:

127.0.0.1:6379> XLEN userInfo
(integer) 2
streams三种查询模式

redis提供了三种查询streams数据的模式:

  1. 范围查询:因为streams的每个entry,其默认生成的ID是基于时间且递增的;

  2. 监听模式:类比linux中的tailf命令,实时接收新增加到streams中的entry(也有点像一个消息系统,事实上笔者认为它就是借鉴了kafka);

  3. 消费者组:即Consumer Groups,特殊的监听模式。从一个消费者的角度来看streams,一个streams能被分区到多个处理消息的消费者,对于任意一条消息,同一个消费者组中只有一个消费者可以处理(和kafka的消费者组完全一样)。这样还能够横向扩容消费者,从而提升处理消息的能力,而不需要只让把让一个消费者处理所有消息。

接下里分别介绍这三种模式。

XRANGE

用法:XRANGE key start end [COUNT count]
这个命令属于第1种模式,即基于范围查询。这个命令用来返回streams某个顺序范围下的元素,start参数是更小的ID,end参数是更大的ID。有两个特殊的ID用符号"-"和"+"表示,符号"-"表示最小的ID,符号"+"表示最大的ID:

127.0.0.1:6379> XRANGE userInfo "1540014096298-0" "1540014477236-0"
1) 1) "1540014096298-0"
   2) 1) "username"
      2) "root"
      3) "password"
      4) "666666"
2) 1) "1540014477236-0"
   2) 1) "username"
      2) "test"
      3) "password"
      4) "111111"
127.0.0.1:6379> 
127.0.0.1:6379> XRANGE userInfo - +
1) 1) "1540014082060-0"
   2) 1) "username"
      2) "afei"
      3) "password"
      4) "123456"
2) 1) "1540014096298-0"
   2) 1) "username"
      2) "root"
      3) "password"
      4) "666666"
3) 1) "1540014477236-0"
   2) 1) "username"
      2) "test"
      3) "password"
      4) "111111"
4) 1) "1540014493402-0"
   2) 1) "username"
      2) "u1"
      3) "password"
      4) "111111"

XRANGE还能实现遍历某个范围区间的功能,例如我想遍历2018-10-20号新增的用户信息。首先得到2018-10-20 00:00:00对应的时间戳为1539964800000,再得到2018-10-20 23:59:59对应的时间戳为1540051199000,然后执行如下命令:

127.0.0.1:6379> XRANGE userInfo 1539964800000-0  1540051199000-0 COUNT 5
1) 1) "1540014082060-0"
   2) 1) "username"
      2) "afei"
      3) "password"
      4) "123456"
... ...
5) 1) "1540014496505-0"
   2) 1) "username"
      2) "u2"
      3) "password"
      4) "111111"
127.0.0.1:6379> 
# 需要注意的是,接下来再遍历的start参数是上一次遍历结果最大的ID加1,即"1540014496505-0"加1就是"1540014496505-1"。
127.0.0.1:6379> XRANGE userInfo 1540014496505-1  1540051199000-0 COUNT 5
1) 1) "1540014499863-0"
   2) 1) "username"
      2) "u3"
      3) "password"
      4) "111111"
XREVRANGE

用法:XREVRANGE key end start [COUNT count]
这个命令也属于第1种模式,且和XRANGE相反,返回一个逆序范围。end参数是更大的ID,start参数是更小的ID。执行示例如下:

XREVRANGE userInfo "1540014477236-0" "1540014096298-0"
XREAD

用法:XREAD [COUNT count][BLOCK milliseconds] STREAMS key [key …] ID [ID …]
很明显,这个命令就是用来实现第2个模式,即监听模式。其作用是返回streams中从来没有读取的,且比参数ID更大的元素。

这个命令的使用方式如下:

127.0.0.1:6379> XREAD COUNT 10 BLOCK 60000 STREAMS userInfo "1540041139268-0"
1) 1) "userInfo"
   2) 1) 1) "1540041264182-0"
         2) 1) "u2"
            2) "p2"
(9.26s)
# "1540041264182-0"这条消息时通过XADD添加的然后被XREAD监听到的消息。
127.0.0.1:6379> XREAD COUNT 2 STREAMS userInfo 0
1) 1) "userInfo"
   2) 1) 1) "1540014082060-0"
         2) 1) "username"
            2) "afei"
            3) "password"
            4) "123456"
      2) 1) "1540014096298-0"
         2) 1) "username"
            2) "root"
            3) "password"
            4) "666666"
# 这条命令实现类似XRANGE的功能。

127.0.0.1:6379> XREAD BLOCK 0 STREAMS userInfo $
1) 1) "userInfo"
   2) 1) 1) "1540042613437-0"
         2) 1) "u7"
            2) "p7"
# 说明BLOCK为0表示一致等待知道有新的数据,否则永远不会超时。并且ID的值我们用特殊字符`$`表示,这个特殊字符表示我们只获取最新添加的消息。

此外,XREAD还支持同时监听多个streams,用法如下所示:

127.0.0.1:6379> XREAD BLOCK 0 STREAMS userInfo_01 userInfo_02 userInfo_03 userInfo_04  $ $ $ $
1) 1) "userInfo_03"
   2) 1) 1) "1540043348287-0"
         2) 1) "u1"
            2) "p1"
(3.49s)
# 监听userInfo_01~userInfo_04这4个streams的新的消息。

XREAD除了COUNT和BLOCK,没有其他选项了。所有XREAD是一个非常基本的命令。更多高级特性可以往下看接下来要介绍的XREADGROUP。

XREADGROUP

用法:XREADGROUP GROUP group consumer [COUNT count][BLOCK milliseconds] STREAMS key [key …] ID [ID …]
很明显,这就是第三种模式:消费者组模式。

如果你了解kafka的消费者组,那么你就也了解了streams的消费者组。如果不了解也没关系,笔者简单解释一下,假设有三个消费者C1,C2,C3。在streams中总计有7条消息:1, 2, 3, 4, 5, 6, 7,那么消费关系如下所示:

1 -> C1
2 -> C2
3 -> C3
4 -> C1
5 -> C2
6 -> C3
7 -> C1

消费者组具备如下几个特点:

  1. 同一个消息不会被投递到一个消费者组下的多个消费者,只可能是一个消费者。

  2. 同一个消费者组下,每个消费者都是唯一的,通过大小写敏感的名字区分。

  3. 消费者组中的消费者请求的消息,一定是新的,从来没有投递过的消息。

  4. 消费一个消息后,需要用命令(XACK)确认,意思是说:这条消息已经给成功处理。正因为如此,当访问streams的历史消息时,每个消费者只能看到投递给它自己的消息。

消费者组抽象的想象成如下这个样子:

+----------------------------------------+
| consumer_group_name: afeigroup         |
| consumer_group_stream: somekey         |
| last_delivered_id: 1292309234234-92    |
|                                        |
| consumers:                             |
|    "consumer-1" with pending messages  |
|       1292309234234-4                  |
|       1292309234232-8                  |
|    "consumer-42" with pending messages |
|       ... (and so forth)               |
+----------------------------------------+
XACK

用法:XACK key group ID [ID …]
这是消费者组相关的另一个重要的命令。标记一个处理中的消息为已被正确处理,如此一来,这条消息就会被从消费者组的pending消息集合中删除,类似MQ中的ack。

XGROUP

用法:XGROUP [CREATE key groupname id-or-$][SETID key id-or-$] [DESTROY key groupname][DELCONSUMER key groupname consumername]

这也是消费者组的一个重要命令,这个命令用来管理消费者组,例如创建,删除等。

XREADGROUP,XACK,XGROUP三种命令构成了消费者组相关的操作命令,下面是消费者组一些操作示例:

# 创建一个消费者组
127.0.0.1:6379> XGROUP CREATE userInfo GRP-AFEI $
OK
# 需要注意的是,目前XGROUP CREATE的streams必须是一个存在的streams,否则会报错:
127.0.0.1:6379> XGROUP CREATE userinfo GRP-AFEI $
(error) ERR The XGROUP subcommand requires the key to exist. Note that for CREATE you may want to use the MKSTREAM option to create an empty stream automatically.

# 名为zhangsan的消费者,需要注意的是streams名称userInfo后面的特殊符号`>`表示这个消费者只接收从来没有被投递给其他消费者的消息,即新的消息。当然我们也可以指定具体的ID,例如指定0表示访问所有投递给该消费者的历史消息,指定1540081890919-1表示投递给该消费者且大于这个ID的历史消息:
127.0.0.1:6379> XREADGROUP GROUP mygroup zhangsan COUNT 1 BLOCK 0 STREAMS userInfo >
# 名为lisi的消费者:
127.0.0.1:6379> XREADGROUP GROUP mygroup lisi COUNT 1 BLOCK 0 STREAMS userInfo >

# 接下来分别添加两条信息,一条就会被zhangsan消费,另一条被lisi消费:
127.0.0.1:6379> XADD userInfo * username u102102 password p102102
"1540081873370-0"
127.0.0.1:6379> XADD userInfo * username u102103 password p102103
"1540081890919-0"

#现在消费者lisi有一条消息:
127.0.0.1:6379> XREADGROUP GROUP mygroup lisi COUNT 5 BLOCK 0 STREAMS userInfo 0
1) 1) "userInfo"
   2) 1) 1) "1540081890919-0"
         2) 1) "username"
            2) "u102103"
            3) "password"
            4) "p102103"
#然后通过命令ack这条消息:
127.0.0.1:6379> XACK userInfo mygroup 1540081890919-0
(integer) 1
# 再看消费者lisi的pending队列,已经为空:
127.0.0.1:6379> XREADGROUP GROUP mygroup lisi COUNT 5 BLOCK 0 STREAMS userInfo 0
1) 1) "userInfo"
   2) (empty list or set)
XPENDING

用法:XPENDING key group [start end count][consumer]
返回streams中消费者组的pending消息,即消费者接收到但是还没有ack的消息,用法参考:

# 查看消费者组下总计最多10条pending消息
127.0.0.1:6379> XPENDING userInfo mygroup - + 10
1) 1) "1540083260408-0"
   2) "zhangsan"
   3) (integer) 183551
   4) (integer) 1
2) 1) "1540083266293-0"
   2) "lisi"
   3) (integer) 177666
   4) (integer) 1
# 查看消费者组下zhangsan这个消费者总计最多10条pending消息
127.0.0.1:6379> XPENDING userInfo mygroup - + 10 zhangsan
1) 1) "1540083260408-0"
   2) "zhangsan"
   3) (integer) 187006
   4) (integer) 1
XCLAIM

用法:XCLAIM key group consumer min-idle-time ID [ID …][IDLE ms] [TIME ms-unix-time][RETRYCOUNT count] [FORCE][JUSTID]
作用是改变消费者组中消息的所有权,用法参考:

127.0.0.1:6379> XREADGROUP GROUP mygroup zhangsan COUNT 5 BLOCK 0 STREAMS userInfo 0
1) 1) "userInfo"
   2) 1) 1) "1540083260408-0"
         2) 1) "username"
            2) "u102106"
            3) "password"
            4) "p102106"
# zhangsan本来有1条消息,现在将另一条本来属于lisi的消息的所有权转给它:
127.0.0.1:6379> XCLAIM userInfo mygroup zhangsan 360 1540083266293-0
1) 1) "1540083266293-0"
   2) 1) "username"
      2) "u102107"
      3) "password"
      4) "p102107"
# 现在zhangsan有两条消息了
127.0.0.1:6379> XREADGROUP GROUP mygroup zhangsan COUNT 5 BLOCK 0 STREAMS userInfo 0
1) 1) "userInfo"
   2) 1) 1) "1540083260408-0"
         2) 1) "username"
            2) "u102106"
            3) "password"
            4) "p102106"
      2) 1) "1540083266293-0"
         2) 1) "username"
            2) "u102107"
            3) "password"
            4) "p102107"
XINFO

用法:XINFO [CONSUMERS key groupname][GROUPS key] [STREAM key][HELP]
其作用是得到streams和消费者组的一些信息,使用参考:

127.0.0.1:6379> XINFO CONSUMERS userInfo mygroup 
1) 1) "name"
   2) "lisi"
   3) "pending"
   4) (integer) 0
   5) "idle"
   6) (integer) 201086
2) 1) "name"
   2) "zhangsan"
   3) "pending"
   4) (integer) 2
   5) "idle"
   6) (integer) 701954
127.0.0.1:6379> XINFO STREAM userInfo
 1) "length"
 2) (integer) 22
 3) "radix-tree-keys"
 4) (integer) 1
 5) "radix-tree-nodes"
 6) (integer) 2
 7) "groups"
 8) (integer) 2
 9) "last-generated-id"
10) "1540082298051-0"
11) "first-entry"
12) 1) "1540014082060-0"
    2) 1) "username"
       2) "afei"
       3) "password"
       4) "123456"
13) "last-entry"
14) 1) "1540082298051-0"
    2) 1) "username"
       2) "u102105"
       3) "password"
       4) "p102105"
XTRIM

用法:XTRIM key MAXLEN [~] count
修剪streams到一个确定的size。Trims the stream to (approximately if '~' is passed) a certain size,用法参考:

# streams只保留10条消息,其返回结果表示被剪去多少条消息:
127.0.0.1:6379> XTRIM userInfo MAXLEN 10
(integer) 14

说明:streams目前的修剪策略比较简单,比如连根据ID范围修剪都没有实现。根据具体某一个ID删除,可以通过XDEL实现。

持久化,复制以及消息安全性

和其他数据类型一样,streams也会异步复制到slave,并也会持久化到AOF和RDB文件中。然而,消费者组的全部状态是被传播(propagated )到AOF,RDB和slave中。

需要注意的是,Redis的streams和消费者组使用Redis默认复制进行持久化和复制,因此:如果消息的持久性在您的应用程序中很重要,则必须将AOF与强fsync策略一起使用。
默认情况下,异步复制不保证能复制每一个数据添加或使用者组状态更改:在故障转移之后,可能会丢失某些内容,具体取决于slave从master接收数据的能力。

  • 长度为0的streams

这是streams和其他redis数据类型的不同,其他数据类型,例如Lists,Sets等,如果所有元素都被删除,那么key也不存在。而streams允许所有entry都被删除。

存在这种不对称性的原因是因为streams可能具有关联的消费者组,并且我们不希望由于streams中不再有任何entry而丢失消费者组定义的状态。 目前,即使没有关联的消费者群体,也不会删除该streams。



如果你对 Dubbo / Netty 等等源码与原理感兴趣,欢迎加入我的知识星球一起交流。长按下方二维码噢:


目前在知识星球更新了《Dubbo 源码解析》目录如下:

01. 调试环境搭建
02. 项目结构一览
03. 配置 Configuration
04. 核心流程一览

05. 拓展机制 SPI

06. 线程池

07. 服务暴露 Export

08. 服务引用 Refer

09. 注册中心 Registry

10. 动态编译 Compile

11. 动态代理 Proxy

12. 服务调用 Invoke

13. 调用特性 

14. 过滤器 Filter

15. NIO 服务器

16. P2P 服务器

17. HTTP 服务器

18. 序列化 Serialization

19. 集群容错 Cluster

20. 优雅停机

21. 日志适配

22. 状态检查

23. 监控中心 Monitor

24. 管理中心 Admin

25. 运维命令 QOS

26. 链路追踪 Tracing

... 一共 69+ 篇

目前在知识星球更新了《Netty 源码解析》目录如下:

01. 调试环境搭建
02. NIO 基础
03. Netty 简介
04. 启动 Bootstrap

05. 事件轮询 EventLoop

06. 通道管道 ChannelPipeline

07. 通道 Channel

08. 字节缓冲区 ByteBuf

09. 通道处理器 ChannelHandler

10. 编解码 Codec

11. 工具类 Util

... 一共 61+ 篇

目前在知识星球更新了《数据库实体设计》目录如下:

01. 商品模块
02. 交易模块
03. 营销模块
04. 公用模块

... 一共 17+ 篇

目前在知识星球更新了《Spring 源码解析》目录如下:

01. 调试环境搭建
02. IoC Resource 定位
03. IoC BeanDefinition 载入

04. IoC BeanDefinition 注册

05. IoC Bean 获取

06. IoC Bean 生命周期

... 一共 35+ 篇

Redis Streams vs Kafka:轻量级消息队列选型指南 本文深入比较了Redis Streams与Kafka在轻量级消息队列选型中的优劣,提供了详细的性能数据和实战建议。针对中小规模场景,Redis Streams凭借低延迟和易用性优势突出;而Kafka则在大规模数据处理和长期存储方面表现更佳。文章还分享了混合架构设计经验和性能优化技巧,帮助开发者根据业务需求做出合理选择。 阅读详情

相关推荐

Redis面试高频考点深度剖析(附实战解决方案)

Redis就像瑞士军刀,用得6不6全看理解深度。建议大家在理解原理的基础上,多动手搭建集群环境测试。记住,真实生产环境中没有银弹,每个方案都要结合具体业务场景灵活变通!

xiaoweiaixuexi8的博客 1236

学习Streams(一)

Streams:深入剖析Redis5.0数据结构 Redis 5.0 全新的数据类型:streams,官方把它定义为:以更抽象的方式建模日志的数据结构。Redis的streams主要是一个append only的数据结构,至少在概念上它是一种在内存中表示的抽象数据类型,只不过它们实现了更强大的操作,以克服日志文件本身的限制。 如果你了解MQ,那么可以把streams当做MQ。如果你还了解kafka,那么甚至可以把streams当做kafka。另外,这个功能有点类似于redis以前的Pub/Sub,但是也

qq_20853741的博客 1212

利用 Redis Streams 构建实时事件总线

利用 Redis Streams 构建实时事件总线

s13166803785的博客 164

java异常处理(较详细)

java异常处理(较详细) 在使用计算机语言进行项目开发的过程中,即使程序员把代码写得尽善尽美,在系统的运行过程中仍然会遇到一些问题,因为很多问题不是靠代码能够避免的。 比如: 客户输入数据的格式, 读取文件是否存在, 网络是否始终保持通畅等等。 异常:在Java语言中, 将程序执行中发生的不正常情况称为“异常” 。 (开发过程中的语法错误和逻辑错误不是异常) Java程序在执行过程中所发生的异常...

xiangjunyes的博客 3万+

FDTD Solutions-入射波长模式

经常在文献中看到仿真光源使用TM/TE模式,这个确定是十分必要的,决定了仿真结果。 但是也不能局限于选择TM/TE,因为不同领域、不同软件之间的使用习惯和命名可能不同。并且在现代光波导器件中,几乎全部 都是混合模式,或者称之为quasi-TE(准TE模式)和quasi-TM(准TM模式),多数情况下都简称为TE模式和TM模式。要知道 到底是TE模式还是TM模式,需要查看其电场的主分量(即振幅...

HECHUANWANG的博客 1万+

FID指标实战:如何用Python快速计算生成图像的质量分数(附完整代码)

本文详细介绍了如何使用Python计算Fréchet Inception Distance(FID)指标,以评估生成图像的质量。通过完整的代码示例和优化技巧,帮助开发者快速实现FID计算,并解读分数背后的实际意义,适用于GAN和扩散模型的性能评估。

weixin_28718487的博客 379

Redis 6.0 源码阅读笔记(8) -- Stream 数据类型源码分析

1. 存储结构 在 流对象 Stream 的介绍中已经提到 Stream 的底层存储结构为前缀压缩树,其结构示例如下: OBJ_ENCODING_STREAM 底层采用压缩前缀树(radix tree) 来存储,其每个节点 raxNode 用于存储键值对相关数据,不同键相同的前缀字符将被压缩到同一个节点中,并使用 iskey 属性来标识从根节点到当前节点保存的字符是否是完整的键 Stream 添加数据的命令格式如下,其中 key 为 Stream 的名称,ID 为消息的唯一标志,不可重复,field s

alpha_love的博客 602

手把手教你用VM实现欧姆龙PLC数据采集(含Fins协议配置详解)

本文详细介绍了如何使用VM(VisionMaster)实现与欧姆龙PLC的数据采集,重点解析了Fins协议(包括Fins TCP/UDP)的配置步骤。从网络环境搭建、PLC的IP地址设置,到VM端Fins通讯通道的详细配置与数据点映射,提供了完整的实战指南。文章还涵盖了数据收发解析、常见问题排查清单,帮助工程师快速完成视觉系统与PLC的稳定集成。

weixin_29171087的博客 189

Redis HyperLoglog基数统计, PubSub发布订阅, Stream消息队列

HyperLoglog基数统计 Redis 经常使用的数据类型有字符串、列表、散列、集合和有序集合,但这些类型并不能满足所有的应用场景,因此,Redis 的后续版本不断的扩增其他数据类型来增强 Redis 适用能力。在 Redis 2.8.9 版本中新增了 HyperLogLog 类型。 什么是HyperLoglog HyperLoglog 是 Redis 重要的数据类型之一,它非常适用于海量数据的计算、统计,其特点是占用空间小,计算速度快。 HyperLoglog 采用了一种基数估计算法,因此,最终

youandme520的专栏 454

MATLAB多项式计算

MATLAB多项式计算 在MATLAB中,n次多项式用一个长度为n+1的行向量表示(因为是n个幂次项系数加上一个常数项),缺少的幂次项系数为0。 例如 n次多项式: P(x)=anxn+an-1xn-1+an-2xn-2+…+a1x+a0 表示为: [an,an-1,an-2,…,a1,a0] 目录MATLAB多项式计算1.多项式的加减运算2.多项式的乘法运算3.多项式的除法运算4.多项式的导函数5.代数多项式求值6.矩阵多项式求值7.多项式求根 1.多项式的加减运算 事实上,多项式的加减运算就是其所对应的

路遥芝麻的博客 1万+

【Java基础知识 1】Java入门级概述

优快云最强Java专栏,包含全部Java基础知识点、Java8新特性、Java集合、Java多线程、Java代码实例,理论结合实战,实现Java的轻松学习。

学Java,找哪吒 16万+

redis stream持久化_Streams:深入剖析Redis5.0全新数据结构

Streams:深入剖析Redis5.0全新数据结构原创: 阿飞的博客Redis 5.0 全新的数据类型:streams,官方把它定义为:以更抽象的方式建模日志的数据结构。Redis的streams主要是一个append only的数据结构,至少在概念上它是一种在内存中表示的抽象数据类型,只不过它们实现了更强大的操作,以克服日志文件本身的限制。如果你了解MQ,那么可以把streams当做MQ。如果...

weixin_35861221的博客 722

Vue3 - 解决报错 Uncaught (in promise) DOMException: Failed to execute ‘insertBefore‘ on ‘Node‘: The node

vue3,报错,vue3报错,Uncaught(inpromise)DOMException:Failedtoexecute'insertBefore'on'Node':Thenodebeforewhichthenewnodeistobeinsertedisnotachildofthisnode,如何解决这个错误,动态渲染,v-if,v-show,insertBefore,详细解决方法,vue3未能在“Node”上执行“insertBefore”:要插入

🏆 前端领域优质创作者 1万+

ColossalAI 3D 张量并行深度解析:算法原理、通信模式与工程落地

本文系统讲解 ColossalAI 中 3D 张量并行(3D Tensor Parallelism)这一面向超大规模模型训练的并行切分技术:它以"处理器立方体"为单位对输入与权重做三维切分,通过 all-gather / reduce-scatter 两类集合通信把单层 GEMM 的计算量、参数量与激活量同时压低到 $O(1/q^3)$,是理解张量并行理论下界的经典案例。阅读本文后,你将掌握 3D

gitblog_01145的博客 806

全国区块链职业技能大赛国赛考题前端功能开发

全国区块链职业技能大赛国赛考题区块链应用前端功能开发

本郡主是喵 1335

【GameFramework框架内置模块】2、数据节点(Data Node)

这一篇讲数据节点DataNode,基本开发程序都会有类似数据节点作用的东西,数据节点的作用其实就是保存游戏运行时的一些缓存数据,比如用户登录信息、用户名、任务节点等等。数据一般会有增删改查这四种操作,在运行时的数据一般是使用单例或者静态属性,将数据存储在内存中而数据节点也是将数据存储在内存中,但是不用序列化数据,比使用单例或者静态属性要容易维护的多,特别时它的树形结构可以让我们很好的组织我们的数据结构,方便做增删改查操作。数据节点DataNode模块的数据的存储方式是以树形结构存储。

优快云博客专家,Unity3D高级软件工程师,《Unity 3D从入门到实战》作者。 3188

Redis消息队列实现异步秒杀

Redis Stream 是一种专门为消息队列设计的数据类型,它支持消息可回溯、多消费者消费、消息确认机制等特性。通过使用 Redis Stream 构建消息队列,我们能够将部分业务逻辑进行异步处理。当用户发起请求时,系统迅速将请求信息放入消息队列,无需等待后续处理完成即可返回响应,大大提高了系统的响应速度。同时,多个消费者可以并行从消息队列中获取任务进行处理,有效提升了系统的吞吐量,确保系统在高并发场景下仍能稳定运行。

hello77的blogggg 祝你得偿所愿 1137

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

Redis面试精讲 Day 8:Stream消息队列设计与实现

消息持久化:所有消息默认持久存储在内存中消费者组:支持多消费者协同消费消息回溯:可重新消费历史消息阻塞读取:支持实时消息推送模式| 特性 | 传统List方案 | Stream方案 || 消息持久化 | 依赖RDB/AOF | 内置持久化 || 消费确认 | 需自行实现 | 原生支持ACK机制 || 消费者组 | 不支持 | 原生支持 || 消息回溯 | 困难 | 内置支持 |今日核心知识点Stream是Redis 5.0引入的持久化消息队列支持消费者组、消息回溯等高级特性。

在未来等你的专栏 943

贝叶斯统计 [韦来生编]

贝叶斯(Bayes)统计是近几十年来迅速发展起来的数理统计的一个重要分支。贝叶斯方法与经典统计方法的主要不同之处是进行统计推断时除了利用样本信息外,还要利用参数的先验信息,因此可以提高统计推断或统计决策的效果。它在经济、金融、生物、医学、自然科学和社会科学等许多领域具有广泛的应用。贝叶斯方法的研究已渗透到了统计学的几乎所有领域。作者在给中国科学技术大学概率论与数理统计专业本科生开设的“数理统计”课程中有一章专门讲授“贝叶斯方法和统计决策理论”,近十年来也给中国科学技术大学概率统计专业研究生开设过几次“贝叶斯分析”课。本书是在对过去讲稿的内容作了适当的增减和调整的基础上完成的。  本书共分六章。第1章是绪论,介绍了贝叶斯统计的若干基本概念,同时对必要的数理统计的基础知识有重点地作了回顾。第二章介绍了确定先验分布的若干可供选择的方法。第三章介绍了几类常见统计模型参数的后验分布的主要结果和计算方法。第四章和第五章分别介绍了“贝叶斯统计推断”和“贝叶斯统计决策”的内容。第六章介绍了贝叶斯统计计算的若干方法,包括蒙特卡洛方法和马尔可夫链蒙特卡洛(MCMC)方法以及相关统计软件的简介。本书的每一章附右大量的例题和习题,书末附有常用的几个表格和部分习题解答供读者查用。  大约可在54学时内讲授本书的第1章至第六章的主要内容,教师可根据学时需要选讲本书第1章至第六章的部分内容。书中标“*”号的章节可略去不讲,留给读者作为阅读材料。第六章例题中的R代码和部分例题的数据文件等可从作者个人主页下载。  作者在编写本书的过程中参考了J.O.Berger教授的《统计决策论及贝叶斯分析》和茆诗松教授编写的《贝叶斯统计》等书中的一些内容,以及《贝叶斯分析》一书中由张伟平博士编写的有关贝叶斯统计计算的一些内容。在此表示衷心感谢。  本书编写准备过程中,中国科学技术大学统计与金融系的几个研究生帮助完成了本书部分中文的录入和排版,作者对他们的辛勤工作表示真诚的感谢。高等教育出版社为本书的出版给予了大力支持。在此一并致谢。

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

Redis100篇 - Redis的Stream是什么 比Pub/Sub更强大的消息队列

Redis Stream 是 Redis 5.0 引入的持久化消息队列,解决了传统 Pub/Sub 的消息丢失问题,支持消费者组和消息回溯功能。本文深入解析 Stream 的原理与优势,包括消息 ID 机制、消费者组负载均衡、Pending Entries List 故障恢复等核心特性,并通过 Spring Boot + Lettuce 实现完整的订单处理系统。通过对比 Kafka 等传统消息队列,展示 Redis Stream 作为轻量级替代方案的适用场景。附 Java 代码示例和 Mermaid 架构图

千淘万漉虽辛苦,吹尽狂沙始到金 2万+

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

Redis 消息队列

本文解决 List/PubSub/Stream 选择、消费者组、ACK、秒杀实战等问题

2301_80821045的博客 600

Redis5.0 Stream深度测评:比Kafka轻量100倍的消息队列方案?

本文深度测评了Redis 5.0引入的Stream数据结构,探讨其作为轻量级消息队列方案的可行性。文章通过性能对比、核心特性解析及实战场景分析,指出Redis Stream在特定场景下可成为Kafka的轻量替代,尤其适合对延迟敏感、消息量中等且希望技术栈简洁的中小型项目。

weixin_29043895的博客 533

从Kafka到Redis Streams:消息ID设计哲学对比,为什么Redis选择了“时间戳-序列号”?

本文深入对比了Kafka与Redis Streams在消息ID设计上的哲学差异,重点分析了Redis Streams采用“时间戳-序列号”结构的优势。Kafka的单调递增偏移量强调存储定位和顺序保证,而Redis Streams的复合ID内置时间语义,支持时间范围查询和跨流关联分析,更适合需要时间维度的场景。

weixin_30878501的博客 134

【黑马点评学习笔记 | 实战篇 】| 6-Redis消息队列

本文介绍了使用Redis消息队列优化异步秒杀方案。针对JVM阻塞队列存在的内存限制和数据安全问题,采用Redis Stream消息队列实现持久化和消息确认机制。详细讲解了基于List、PubSub和Stream三种Redis消息队列实现方式,重点分析了Stream的消费者组模式如何解决消息漏读问题。最后展示了秒杀优化方案:创建Stream队列并改造Lua脚本,在认定抢购资格后向队列添加消息。相比JVM队列,Redis方案具有不受内存限制、持久化安全、消息确认等优势,适合中小型企业需求。

black_snack的博客 609

别再只懂XADD了!Redis Streams消息ID的5个实战技巧,从消费组故障到精准回溯

本文深入探讨Redis Streams消息ID的5个实战技巧,从解码时间戳诊断生产端异常到利用XPENDING揪出僵尸消息,再到XCLAIM实现消费者故障转移。通过精准回溯和时间旅行调试,帮助开发者高效解决消费组故障和消息堆积问题,提升Redis Streams在生产环境中的可靠性。

weixin_33711647的博客 429

一篇文章搞懂消息队列

本文介绍了Redis实现消息队列的三种方式:List结构、PubSub模型和Stream类型。List结构通过LPUSH/RPOP实现简单队列,支持持久化但功能有限;PubSub提供发布订阅模式,适合实时广播但缺乏持久化;Stream作为最完善的方案,支持消息回溯、消费者组和确认机制,适用于高可靠性场景。文章详细对比了三者的优缺点,并重点讲解了Stream类型的高级特性,包括消费者组管理和消息确认机制,为不同应用场景下的消息队列选择提供了明确指导。

小羊驼的博客 931
上一篇: Spring AOP,AspectJ,CGLIB 有点晕
下一篇: 10 分钟不全面了解 Redis 5.0 新特性
公众号-芋道源码
博客等级 码龄10年 1640粉丝 377原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值