Kafka 时间轮 & 延时队列的实现

Kafka时间轮算法在延时队列中的应用

原创已于 2023-02-27 17:50:38 修改 · 1.2k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#java #开发语言

于 2023-02-27 15:23:29 首次发布

other 专栏收录该内容

7 篇文章

订阅专栏

文章探讨了时间轮算法在Kafka服务端用于高效执行定时任务的原理，同时分析了如何利用DelayQueue解决‘空推进’问题。还提到了在实现延迟队列时，通过设置max.poll.interval.ms避免服务中断后无法恢复的问题，并讨论了自动rebalance的策略。

本文为学习摘录文，感谢原创作者的讲解。

1 时间轮详解

安全验证 - 知乎

深入理解Kafka服务端之高效的时间轮算法在定时任务中的应用 - 墨天轮

https://www.cnblogs.com/keepal/p/16341754.html

2 配合DelayQueue解决“空推进”问题

安全验证 - 知乎

Kafka解惑之时间轮（TimingWheel）

3 延时队列实现方案

安全验证 - 知乎

<<基于kafka实现延迟队列>> 文中使用了resume和pause的方法来实现延迟消息的等待，但是容易出现服务down掉后，一直pause状态无法恢复的问题。自己处理需要做很多工作。

还是使用简单的设置一个较长的

max.poll.interval.ms

的时间，让Kakfa在timeout后可以自动rebanance。

延迟任务队列的实现方案 - 黄瓜与土豆的个人空间 - OSCHINA - 中文开源技术交流社区

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

走向自由

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

Kafka-时间轮和延迟操作-源码流程

qq_35040959的博客

07-01

2044

DelayedProduce通过DelayedOperationPurgatory.tryCompleteElseWatch()被放入Watchers和SystemTimer中。Watchers的tryCompleteWatched()方法会尝试完成DelayedProduce（调用DelayedProduce的tryComplete()方法），那么tryCompleteWatched()是怎么被调用的呢？分区的HW发生了变动（acks = -1时）

Kafka延迟队列实现方案全解析

最新发布

lz989796的博客

09-24

726

$ \text{时间轮} = \text{环形数组} + \text{分层设计} $$需要补充代码实例或特定场景的优化方案可进一步细化，此大纲已覆盖核心技术路径。

参与评论您还未登录，请先登录后发表或查看评论

springboot kafka 实现延时队列_kafka延迟队列(1)

2401_84166965的博客

04-08

3650

3.1 优点： ①RabbitMQ的延迟队列是通过RabbitMQ的插件实现的，易于部署和使用。 ②RabbitMQ的延迟队列支持消息重试和消息顺序处理，可靠性较高。 ③支持消息持久化和分布式。 ④支持优先级队列和死信队列。 ⑤提供了丰富的插件和工具。3.2 缺点： ①RabbitMQ的延迟队列性能较低，不适用于高吞吐量的场景。 ②性能较低，不适合高并发场景。 ③实现延迟队列需要额外的配置，但是配置就很简单了。3.3应用场景：适用于中小型的任务调度和消息通知，对可靠性要求高的场景。4.1 优点： ①Roc

延时队列的设计：定时任务轮询、DelayQueue、时间轮算法、消息中间件、Redis

qq_38667268的博客

12-13

3216

首先它要具有队列的特性，再给它附加一个延迟消费队列消息的功能，延迟队列相对比普通队列，区别就在延时的特性上，普通队列先进先出，按入队顺序进行处理，而延时队列中的元素在入队时会指定一个延时时间，希望能够在指定时间到了以后处理。时间轮算法，参考的时钟，从时钟中得到的一些启发设计出来的，简单的讲它是一个存储定时任务的环形队列，底层采用数组实现，数组中的每个元素可以存放一个延时任务列表。缺点∶缺乏队列顺序消息特性，相同score的任务无法顺序执行，缺乏ack特性，若任务执行失败，而队列的任务被删除了，就丢失了。

Kafka性能保证和延时队列实现原理

much efforts, much luck

04-19

5614

数据不丢不漏、不重不错一、不丢（生产写入消息不丢失）数据组织形式：首先，从数据组织形式来说，kafka有三层形式，kafka有多个主题（topic），每个主题有多个分区，分区分为主分区和副本分区，每个分区又有多条消息。而每个分区可以分布到不同的节点broker上，这样一来，从服务端来说，分区可以实现高伸缩性，以及负载均衡，动态调节的能力。 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-1ciunydj-1618802401938)(C:\Users\darrendy.

Kafka解惑之时间轮 (TimingWheel)

weixin_30849403的博客

06-06

1769

Kafka中存在大量的延迟操作，比如延迟生产、延迟拉取以及延迟删除等。Kafka并没有使用JDK自带的Timer或者DelayQueue来实现延迟的功能，而是基于时间轮自定义了一个用于实现延迟功能的定时器(SystemTimer)。JDK的Timer和DelayQueue插入和删除操作的平均时间复杂度为O(nlog(n))，并不能满足Kafka的高性能要...

Kafka 实现延迟队列的方法

My_wife_QBL的博客

07-19

2914

虽然 Kafka 本身并不直接支持延迟队列，但通过结合 Kafka 的内置功能、外部定时器、时间轮算法或第三方插件，可以实现各种精度和性能需求的延迟队列。选择合适的方法取决于具体的业务需求和系统复杂度。

Kafka 延时队列&重试队列

JavaMonsterr的博客

07-13

974

1. 简介TimingWheel是kafka时间轮的实现，内部包含了⼀个TimerTaskList数组，每个数组包含了⼀些链表组成的TimerTaskEntry事件，每个TimerTaskList表示时间轮的某⼀格，这⼀格的时间跨度为tickMs，同⼀个TimerTaskList中的事件都是相差在⼀个tickMs跨度内的，整个时间轮的时间跨度为interval = tickMs * wheelSize，该时间轮能处理的时间范围在cuurentTime到currentTime + interval之间的事件。

基于kafka的延时队列实现

godwei_ding的博客

07-18

6883

基于kafka的延时队列实现这里写目录标题基于kafka的延时队列实现延时队列什么是延时队列使用场景相关消息中间件的延时队列实现rabbitmq基于kafka的简单延时队列消费实现为什么要基于kafka来做延时队列demo效果 延时队列 延时队列顾名思义就是一个可以延时（消费）的队列。生产者和消费者约定消息延迟的时间，投递到延时队列的消息则会在约定的时间被消费。什么是延时队列 使用场景相关消息中间件的延时队列实现 rabbitmq 基于kafka的简单延时队列消费实现为什么要基于kafka来做延时队

Kafka过期时间TTL、延时队列、死信队列实现方案

wanger61的博客

10-18

3329

这里提供一种实现方案：将消息的 TTL 的设定值以键值对的形式保存在消息的 header 字段中，在消费者端配置拦截器，消费者在消费消息时判断此条消息是否超时。解决方式，提前记录这一批消息的最大偏移量，或在过滤之后的消息集中的头部或尾部设置一个状态消息，专门用来存放这一批消息的最大偏移量。Kafka 和 RabbitMQ 不同，Kafka的消息并没有TTL这一概念，因此想要实现消息的过期功能，需要作额外的处理。需要注意 RecordHeader 的值是 byte[]类型，因此需要进行转换。

Kafka 延迟队列

专注Java（全栈）应用开发，求知若渴，虚心若愚，talk is cheap, show me the code.

03-02

881

kafka 延迟队列。

TimingWheel:Kafka时轮的Java实现

05-02

计时轮 Kafka时轮的Java实现

Kafka时间轮（TimingWheel)和Kafka中的延时操作

qq_35240226的博客

06-01

4795

Kafka延时队列

justlpf的专栏

04-19

678

是kafka时间轮的实现，内部包含了⼀个数组，每个数组包含了⼀些链表组成的事件，每个表示时间轮的某⼀格，这⼀格的时间跨度为tickMs，同⼀个中的事件都是相差在⼀个tickMs跨度内的，整个时间轮的时间跨度为，该时间轮能处理的时间范围在到之间的事件。当添加⼀个时间他的超时时间⼤于整个时间轮的跨度时，，则会将该事件向上级传递，上级的tickMs是下级的interval，传递直到某⼀个时间轮满足，然后计算对应位于哪⼀格，然后将事件放进去，重新设置超时时间，然后放进。

Kafka如何通过层级时间轮实现延时消息队列？

Java搜索工程技术栈

03-05

5003

前言 Kafka 中有很多延时操作，比如对于耗时的网络请求（比如 Produce 时等待 ISR 副本复制成功）会被封装成 DelayOperation 进行延迟处理操作，防止阻塞 Kafka请求处理线程。 Kafka 没有使用 JDK 自带的 Timer 和 DelayQueue 实现。因为时间复杂度上这两者插入和删除操作都是 O(logn)，不能满足 Kafka 的高性能要求。冷知识：JDK Timer 和 DelayQueue 底层都是个优先队列，即采用了 minHeap 的数据结构，最快需

kafka 延迟队列

echo_zhaowei的博客

11-16

6153

最近在看Kafka延迟队列的实现方式，发现大部分讲的都很片面，都是时间轮相关的东西，搞得一知半解的，最终根据自己的理解，设计了一套延迟队列，和大家一起讨论一下，服务流程如下如图所示，所有的消息进来之后，都会被分配到delay队列中，然后delay队列消费消息满足时间要求后再发送到业务队列中，这样做的目的是避免消息阻塞，如果我们没有delay队列，所有消息都在业务队列中，那必然会产生一定的堆积，因为这个队列本身要做的事情太多，delay队列就是为了分担他的压力这里说下为什么有三个delay队.

kafka 笔记十 kafka 延时队列

文报的博客

08-26

6226

延时队列 两个follower副本都已经拉取到了leader副本的最新位置，此时又向leader副本发送拉取请求，而leader副本并没有新的消息写入，那么此时leader副本该如何处理呢？可以直接返回空的拉取结果给follower副本，不过在leader副本一直没有新消息写入的情况下，follower副本会一直发送拉取请求，并且总收到空的拉取结果，消耗资源。 Kafka在处理拉取请求时，会先读取一次日志文件，如果收集不到足够多（fetchMinBytes，由参数fetch.min.bytes配置，

kafka实现延迟队列

weixin_51991615的博客

01-31

4801

首先说一下延迟队列这个东西，实际上实现他的方法有很多，kafka实现并不是一个最好的选择，例如redis的zset可以实现，rocketmq天然的可以实现，rabbitmq也可以实现。如果切换前几种方案成本高的情况下，那么就使用kafka实现，实际上kafka实现延迟队列也是借用了rocketmq的延迟队列思想，rocketmq的延迟时间是固定的几个，并不是自定义的，但是kafka可以实现自定义的延迟时间，但是不能过多，因为是依据topic实现的，接下来我使用go实现简单的kafka的延迟队列。

大数据开发：Kafka延迟队列

shuimuzh123的博客

06-03

1064

Kafka作为实时消息队列的一个重要框架，在大数据技术架构搭建层面，越来越得到重用。相应的，Kafka在大数据技术生态当中的地位，也越来越重要。今天的大数据开发学习分享，我们就来讲讲Kafka延迟队列的部分。 kafka基于时间轮（TimingWheel）自定义了一个用于实现延迟功能的定时器。 时间轮是一个存储定时任务的环形队列，底层采用数组实现，数组中的每个元素可以存放一个定时任务列表（TimerTaskList）。TimerTaskList是一个环形的双向链表，链表中的每一项表示的都是定时任.

kafka基于时间轮实现延时队列的java代码

12-05

好的,我来为您介绍一下基于时间轮实现延时队列的Java代码实现: ```java import java.util.concurrent.*; import java.util.concurrent.atomic.AtomicInteger; public class DelayQueue<T> { private final ConcurrentHashMap<Long, ConcurrentLinkedQueue<T>> wheel; private final ExecutorService executor; private final AtomicInteger currentTick; private final int tickDuration; private final int wheelSize; public DelayQueue(int tickDuration, int wheelSize) { this.wheel = new ConcurrentHashMap<>(); this.executor = Executors.newSingleThreadExecutor(); this.currentTick = new AtomicInteger(0); this.tickDuration = tickDuration; this.wheelSize = wheelSize; start(); } private void start() { executor.submit(() -> { while (!Thread.currentThread().isInterrupted()) { int current = currentTick.get(); ConcurrentLinkedQueue<T> queue = wheel.remove(current); if (queue != null) { for (T item : queue) { System.out.println("Processing item: " + item); // 这里处理延时的任务 } } currentTick.incrementAndGet(); try { Thread.sleep(tickDuration); } catch (InterruptedException e) { Thread.currentThread().interrupt(); } } }); } public void add(T item, long delay) { long expirationTime = System.currentTimeMillis() + delay; long key = expirationTime / tickDuration; wheel.computeIfAbsent(key, k -> new ConcurrentLinkedQueue<>()).offer(item); } public void shutdown() { executor.shutdownNow(); } } ``` 这段代码实现了一个基于时间轮算法的延时队列。主要特点如下: 1. 使用ConcurrentHashMap作为时间轮的核心数据结构。 2. 使用单个线程的ExecutorService来驱动时间轮的转动。 3. 使用AtomicInteger来记录当前的时间轮刻度。 4. 可以设置时间轮的刻度持续时间和总刻度数量。使用示例: ```java public class Main { public static void main(String[] args) throws InterruptedException { DelayQueue<String> delayQueue = new DelayQueue<>(1000, 60); delayQueue.add("Task1", 2000); delayQueue.add("Task2", 5000); Thread.sleep(7000); delayQueue.shutdown(); } } ``` 在这个示例中,我们创建了一个时间轮刻度为1000毫秒,总刻度为60的时间轮延时队列。然后我们添加了两个任务,分别在2秒和5秒后执行。