RocketMQ Streams拓扑构建与数据处理过程

最新推荐文章于 2025-08-02 00:06:48 发布

原创

最新推荐文章于 2025-08-02 00:06:48 发布 · 522 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#java-rocketmq #rocketmq #java

本文详细介绍了RocketMQ Streams 1.1.0版本的改进，特别是流处理拓扑的构建过程，包括逻辑构建、实际构建和第三次构建。文中还阐述了数据处理过程中的状态恢复、存储介质和状态持久化策略。RocketMQ Streams通过RocksDB和RocketMQ结合来保存计算状态，并采用Compact topic和Static topic保证状态数据的正确性。此外，文章还提到了参与贡献的方式。

本文作者：倪泽，Apache RocketMQ committer、RSQLDB/RocketMQ Streams Maintainer

01 背景

RocketMQ Streams 1.1.0版本已于近期发布，相对之前版本有以下改进和优化：

1、API层面支持泛型，可自定义输入输出数据；

2、去掉冗余逻辑，简化代码，重写拓扑图构建和数据处理过程；

本文章承接上篇：RocketMQ Streams 1.1.0: 轻量级流处理再出发，从实现原理上介绍RocketMQ Streams是如何实现流计算拓扑图构建的以及探讨了数据流转过程和流转过程中的状态变化。

02 流处理拓扑构建过程

public class example {
    public static void main(String[] args) {
        StreamBuilder builder = new StreamBuilder("wordCount");


        builder.source("sourceTopic", total -> {
                    String value = new String(total, StandardCharsets.UTF_8);
                    return new Pair<>(null, value);
                })
                .flatMap((ValueMapperAction<String, List<String>>) value -> {
                    String[] splits = value.toLowerCase().split("\W+");
                    return Arrays.asList(splits);
                })
                .keyBy(value -> value)
                .count()
                .toRStream()
                .print();


        TopologyBuilder topologyBuilder = builder.build();


        Properties properties = new Properties();
        properties.put(MixAll.NAMESRV_ADDR_PROPERTY, "127.0.0.1:9876");


        RocketMQStream rocketMQStream = new RocketMQStream(topologyBuilder, properties);




        Runtime.getRuntime().addShutdownHook(new Thread("wordcount-shutdown-hook") {
            @Override
            public void run() {
                rocketMQStream.stop();
            }
        });
        
        rocketMQStream.start();
    }
}

在使用者书写上述及连表达式时，发生第一次构建，即逻辑节点的添加，前后算子具有父子关系，构建后形成逻辑节点，多个逻辑节点形成链表。

逻辑构建结束后，调用StreamBuilder#build()方法进行第二次构建，将逻辑节点中可能包含