Redis Stream数据结构（1）

Redis中的流数据结构

流（stream）是Redis5.0版本新添加的数据结构。在以往版本中，为了使用redis实现消息队列这一常见应用，一般使用列表、有序结合和发布订阅三种功能。但是这些实现存在着各自的弊端：

• 列表实现的消息队列虽然可以快速地将消息追加到列表地末尾，但因为列表为线性结构，所以程序想要查找包含指定数据地元素，或者进行范围查找，就需要遍历整个列表。
• 有序集合虽然可以有效地进行范围查找，但缺少列表和发布于订阅提供地阻塞弹出命令，使得无法使用有序集合去实现可阻塞消息弹出操作。
• 发布订阅虽然拥有将消息传递给多个客户端地能力，并且也拥有相应地阻塞弹出原语，但发布订阅地“发后即忘”策略导致离线地客户端丢失消息。无法实现可靠地消息队列。
• 三种数据结构都有一个问题，就是它们地元素只能是单个值，如果想要这些数据结构实现消息队列传递多项信息，就必须使用JSON之类地序列化格式将多项信息打包存储到单个元素上。

Stream流是上述三种数据结构地综合体，具备它们各自地有点以及特点，是使用Redis实现消息队列地最佳选择。流是一个包含零个或任意多个流元素地有序队列，队列中每个元素都包含一个ID和任意多个键值对，这些元素会根据ID地大小在流中有序进行排列。

常见命令

XADD 追加新元素到流的末尾

XADD命令，将一个带有指定ID以及包含指定键值对的元素追加到流的末尾。如果给定的流不存在，Redis会创建一个空白的流，然后将给定的元素追加到流中。

XADD stream id field value [field value ...]

流中每个元素可以包含一个或任意多个键值对，并且同一个流中的不同元素可以包含不同数量的键值对，比如其中一个元素可以包含3个键值对、另一个有5个键值对。

流元素会以有序方式存储用户给定的键值对：用户创建元素时以什么顺序给定键值对，它们被取出的时候就是什么顺序。

流元素的ID

流元素的ID由 毫秒时间 和顺序编号 两部分组成，其中使用UNIX时间戳表示的毫秒实标识元素和时间的关系，而以0为起始值的顺序编号用于区分同一时间内产生的多个不同元素。毫秒
时间和顺序编号都使用64位非负整数表示，所以整个流ID的总长为128位。使用"-"进行分割。

xadd stream 11100000000000-12345 k1 v1
#返回值为刚才指定的ID

在输入流ID的时候，除了可以给出带有毫秒时间和顺序编号的完整流ID之外，还可以给出只包含毫秒时间的不完整流ID：在这种情况下，Redis会自动将ID的顺序编号部分设置为0.

xadd s1 1000000000000  k1 v1
# 返回1000000000000-0
xadd s1 2000000000000  k1 v1
# 返回2000000000000-0

流元素ID的限制

同一流中的每个元素ID都用于指定特定的一个元素，所以这些ID必须唯一。尝试添加一个也存在ID的元素会返回下面这个错误。

ERR The ID specified in XADD is equal or smaller than the target stream top item
除了不允许使用相同ID之外，Redis还要求新元素的ID必须比流中所有已有元素的ID都要大。Redis会记住每个流已有元素的最大ID，并在用户尝试向流里面添加新的元素的时候，使用新元素的ID与流目前最大的ID进行对比，对比规则如下:

• 如果新ID的毫秒时间部分比最大的毫秒时间部分要大，那么允许添加新元素。
• 如果新ID的毫秒时间部分与最大ID的毫秒时间部分相同，那么对比两个ID的顺序部分，如果新ID的顺序编号部分比最大ID的顺序编号部分要大，那么允许添加新元素。
• 不满足上述两种规则，添加操作会被拒绝，返回错误。

自动生成ID

由于流元素ID的严格特性，Redis为了便于实现添加操作，XADD命令的id参数设定了一个特殊值"“,当用户将符号”"用作id参数的值时，Redis自动会新添加的元素生成一个可用的新ID。

自动生成的新ID会将Redis所在的宿主机器当前的毫秒格式的UNIX时间戳用作ID的毫秒时间，并根据当前已有ID的最大顺序编号来设置新ID的顺序编号部分。

由于自动生成ID时间戳与宿主机当前时间戳有关， 防止宿主机出现时钟错误导致问题出现，redis的宿主机器当前时间戳比流中已使用最大ID的毫秒时间小，那么redis将使用该ID的毫秒时间来作为新的ID的毫秒时间。

限制流的长度

XADD命令提供MAXLEN选项，让用户可以在添加新元素的同时删除旧的元素，限制流的长度

XADD STREAM [MAXLEN len] id field valeu [field value]

按照先进先出规则移除超出长度限制的元素。

其它信息

时间复杂度为O（log(N)）,N为流目前包含的元素数量。

XTRIM对流进行修建

通过XTRIM命令直接将流修剪至指定长度

XTRIM stream MAXLEN len

同样使用先进先出规则进行元素丢弃。

其它信息

复杂度为O（log（N）+ M），N为执行修剪操作前流包含的元素数量，M为被移除元素的数量。

XDEL：移除指定元素

XDEL命令接受一个流以及任意多个元素ID作为输入，并从流中移除ID对应的元素,返回被移除元素的数量作为结果。

XDEL stream [id id ... id]
# 例如
xdel s1 2000000000000-0
# 返回1

其它信息

复杂度：O（log(N）* M)，N为流所包含的元素数量，M被移除元素的数量。

XLEN获取流包含的元素数量

通过对流指定XLEN命令，获取流目前包含的元素数量。

XLEN stream

如果给定的流没有任务元素，或者流不存在，返回0作为结果。

其它信息

复杂度：O（1）

XRANGE、XREVRANGE：访问流中元素

**流本质是一个有序序列。**使用有序序列获取序列中的各项元素是一种非常常见的操作。XRANGE命令可以遍历或者迭代方式访问流中单个或者任意多个元素。可以使用可选参数限制返回数量。

XRANGE stream start-id end-id [count n]

获取指定ID的单个元素

XRANGE命令将起始ID和结束ID设置为同一个流元素ID，这样XRANGE命令就会从流中获取并返回ID指定的流元素。

xrange s1 1000000000000-0  1000000000000-0
#返回值
1) 1) "1000000000000-0" #流元素ID
   2) 1) "k1"           # 流元素包含的键   
      2) "v1"           # 流元素包含的值

如果指定ID不存在，会返回一个空列表作为结果。

获取指定ID范围内的多个元素

只需要将较小的元素ID设置为命令的起始ID，并将较大的元素ID设置为命令的结束ID，那么XRANGE命令就会获取从起始ID到结束ID范围内的所有元素。

XRANGE s1 1000000000000 4000000000000

Xrange命令的起始ID和结束ID除了可以是流元素的ID之外，还可以是特殊值-和+，前者用于表示流的最小ID，后者是流的最大ID。通过-和+可以获取流中所有元素。

对流中元素进行迭代

使用- + 和可选参数进行流的迭代。

xrange stream - + count 1
#加入返回id为 1000000000000-1 
xrange stream 1000000000000-2 + count 1
# 以此类推

逆序访问流中元素

XREVRANGE命令是XRANGE命令的逆序版本，除了按照ID从大到小访问，其它都一样。

其它信息

复杂度O（log（N）+M）,N为流中包含的元素数量，M为命令范围的元素数量。

XREAD：以阻塞或非阻塞方式获取流元素

XREAD [BLOCK ms] [COUTN N] STREAMS stream1 stream2 ... id1 id2 ...

XREAD只能从一个方向对流进行迭代，但是他能提供更简单的迭代API，支持同时对多个流进行迭代，并且能够以阻塞和非阻塞两种方式执行。

获取大于指定ID的元素

可以通过COUNT选项限制每个流最多可以返回的元素

XREAD COUTN 3 Streams s1 s2 1000000000000-0 2000000000-0

阻塞

通过使用BLOCK选项并给定一个毫秒精度的超时时间作为参数，用于可以以阻塞的方式执行XREAD命令

XREAD [BLOCK ms] [COUNT n] STREAMS streams1 streams2 ... id1 id2 ...

BLOCK选项值可以是任何大于等于0的数值，给定0表示阻塞直至出现可返回的元素位置
如果在用户给定的流中，有一个或多个流拥有符合条件、可供读取的元素，那么XREAD命令将直接返回这些元素而不会进入阻塞状态。都不符合条件才会进入阻塞状态。

只获取新出现的元素

Redis为XREAD命令提供了特殊ID参数$。XREAD命令只会获取给定流在命令流执行之后新出现的元素

XREAD BLOCK 1000000 STREAMS bs1 $

其它信息

时间复杂度:获取每个流的元素 O(log (N) + M)，其中N为流包含的元素数量，M为被获取的元素数量。因此对于用户给定的I个流，获取流元素的总复杂度为O((log (N) + M)*I)。