Kafka: Streams核心概念解析之KStream与KTable及实时WordCount实现

Kafka Streams实战-KTable API 本文会介绍: 流和表的关系 数据更新和KTable的配置 聚合、窗口和流表连接 全局KTable 1. 流和表的关系 1.1 数据更新流 假设我们有一个股票价格的数据流,每个数据包含股票的ID,timestamp和股价,要把这些数据写入到关系型数据库的表格里,如果使用股票的ID作为主键,那么具有相同ID的数据会被更新,我们可以把这种用于更新数据的流视为更新流。如下图所示: 这类似... 阅读详情

KStream与KTable的本质差异


1 ) KStream的核心特性

  • 作为无边界数据流抽象,持续从输入主题(inputTopic)获取新数据并以追加形式处理。
  • 类比数据结构:可视为栈(Stack)或管道(Pipeline),数据按时间顺序持续压入,无更新操作。
  • 典型场景:实时日志采集、传感器数据流。

2 ) KTable的核心特性

  • 作为时间窗口数据集抽象,基于特定时间片段(如4:05-4:10)聚合数据。
  • 支持数据更新(Update):新数据覆盖旧值(如KafkaTopic1更新为KafkaTopic2)。
  • 类比数据结构:动态更新的哈希表(Hash Table),以Key维护最新状态值。

官方示意图解析(来源):

  • KTable:输入数据触发增量更新(Update)操作,输出变更日志流。
  • KStream:输入数据触发追加(Append)操作,输出原始记录流。

WordCount算子链实现原理


以下流程基于数据Key=1, Value="hello world" 的转换过程:

// NestJS + Kafka Streams 实现(使用 kafkajs 和 kafka-streams 库)
import { Controller } from '@nestjs/common';
import { KafkaStreams } from 'kafka-streams';
 
@Controller()
export class WordCountController {
  private readonly kafkaStreams: KafkaStreams;
 
  constructor() {
    this.kafkaStreams = new KafkaStreams({
      noptions: {
        'metadata.broker.list': 'localhost:9092',
      },
    });
    
    this.processStream();
  }
 
  async processStream() {
    const stream = this.kafkaStreams.getKStream('input-topic');
    
    stream 
      .flatMapValues((value) => value.split(' ')) // 步骤1:数据拆分
      .groupBy((_, value) => value)               // 步骤2:按词汇分组
      .count('wordCountsStore')                   // 步骤3:统计频次
      .to('output-topic');                        // 输出到结果主题
 
    await stream.start();
  }
}

关键算子说明

  1. flatMapValues(数据拆分)

    • 作用:单条记录拆分为多条(如 "hello world" → ["hello", "world"])。
    • 输出结构:
      Key=1, Value="hello"  
      Key=1, Value="world"  
      
    • 技术细节:Lambda函数 value => value.split(' ') 定义拆分逻辑。
  2. groupBy(分组合并)

    • 作用:按Value重组数据流,相同词汇归入同一分组。
    • 输出结构:
      Group["hello"]: [ "hello" ]  
      Group["world"]: [ "world", "world" ] // 假设另一条记录含"world"  
      
  3. count(聚合统计)

    • 作用:计算分组内记录总数,生成 Key=词汇, Value=频次。
    • 输出示例:
      { "hello": 1, "world": 2 }  
      

算子通用化设计与foreach应用


1 ) 算子(Operator)核心思想

  • 每个算子(如 filter, map, flatMap)接收数据集,返回新数据集,形成处理链。
  • 类比Spark/ Flink:流处理中的函数式转换单元。

2 ) foreach 终端操作示例

  • 作用:遍历流中每条记录(无返回值),适用于推送数据到ES/DB等场景。
stream.foreach((key, value) => {
  console.log(`${key}:${value}`); // 输出:1:hello, 1:world
});
  • 执行结果(输入 "hello world mooc"):
    1:hello  
    1:world  
    1:mooc  
    

工程示例:NestJS集成Kafka Streams的三种方案


1 ) 方案1:基础流处理拓扑

import { Module } from '@nestjs/common';
import { KafkaStreamsModule } from 'nestjs-kafka-streams';
 
@Module({
  imports: [
    KafkaStreamsModule.forRoot({
      client: { brokers: ['localhost:9092'] },
    }),
  ],
  controllers: [WordCountController],
})
export class AppModule {}

2 ) 方案2:状态存储与容错配置

// 启用状态存储(用于count等有状态操作)
const builder = new TopologyBuilder();
builder.source('input-source', 'input-topic')
  .processor('count-processor', () => new WordCountProcessor(), 'input-source')
  .stateStore('count-store', new RedisStore()); // 使用Redis持久化状态 
 
// 容错配置(kafkajs)
const kafka = new Kafka({
  clientId: 'nestjs-app',
  brokers: ['kafka1:9092'],
  retry: { retries: 3 }
});

3 ) 方案3:微服务化部署

docker-compose.yml
services:
  kafka:
    image: bitnami/kafka:latest 
    ports:
      - "9092:9092"
  app:
    build: .
    environment:
      KAFKA_BROKERS: kafka:9092
      KAFKA_GROUP_ID: nestjs-group 

关键配置与优化建议


1 ) Kafka命令参考

# 创建输入/输出主题
kafka-topics --create --topic input-topic --partitions 3 --replication-factor 1
kafka-topics --create --topic output-topic --partitions 3 --replication-factor 1

# 生产测试数据
kafka-console-producer --topic input-topic <<EOF 
1:hello world 
2:mooc education 
EOF

2 ) NestJS最佳实践

  • 序列化:使用Avro Schema(@kafkajs/confluent-schema-registry)
  • 监控:集成Prometheus指标(nestjs-prom)
  • 错误处理:实现DLQ(Dead Letter Queue)机制

拓展知识点:

  • Exactly-Once语义:通过 processing.guarantee: "exactly_once" 启用
  • 窗口聚合:使用 hoppingWindows 或 sessionWindows 实现时间窗口统计

总结

Kafka Streams通过 KStream(持续追加)和 KTable(状态更新)抽象流处理核心逻辑,结合算子链(如 flatMapValues→groupBy→count)实现复杂转换。NestJS开发者可通过kafkajs库构建高可靠流处理服务,重点需关注状态存储设计和容错机制。

Kafka Streams实战:轻量嵌入式流处理原理与生产避坑指南 流处理是现代实时数据架构的核心能力,其本质是在事件时间维度上对无限数据流进行状态化计算与低延迟响应。Kafka Streams 以嵌入式设计实现流-表二元性统一模型,将状态管理、窗口聚合、精确一次语义等关键能力深度绑定 Kafka 原生机制,显著降低运维复杂度与开发门槛。相比 Flink 或 Spark Streaming 等独立集群方案,它无需额外资源调度,直接运行于业务 JVM 中,天然适配微服务与云原生环境。技术价值体现在‘无感集成’——通过几十行 DSL 代码即可为 Spring Boot 应用注入 阅读详情

相关推荐

KTable 的使用

NULL 博文链接:https://lizhensan.iteye.com/blog/1127554

KStream

A KStream can be transformed record by record, joined with another KStream, KTable, GlobalKTable, or can be aggregated into a KTable. Kafka Streams DSL can be mixed-and-matched with Processor API (PAP...

Handsome_Gourmet的博客 1801

ktable的api

ktable的api,是de.kupzog.ktable_2.2.0.jar。嘿嘿,英文的哦。

Kafka的重要组件,谈谈流处理引擎Kafka Stream

今天我们学了一些关于Kafka Stream的内容太,知道了它是一种流处理引擎,可以消费Kafka中的数据,进行处理后,还能其转换为输出流。它特点在于不需要额外征用集群资源、易于使用、支持丰富的转换操作。使用场景包括实时数据分析、实时预测等

战斧的博客 1万+

KTABLE的简单入门

里面简要介绍了KTABLE开发使用的过程,并给出了示例

KTable for SWT 源代码+实例

KTable for SWT 源代码+实例

KTable的简单入门

KTable采用的是适配器模式,因为就表现形式来说,KTable采用的是表格方式展现数据,样式基本固定,而数据来源则千差万别:List、HashMap、XML文件、数据库等等,因此采用适配器模式,在数据来源和表现形式之间架起一座桥梁,使得数据可以正确的显示出来。 KTable的用法非常简单: @Override public void createPar...

weixin_34024034的博客 276

宏基因组分析|完整分析流程梳理

今天先从最基础的全流程框架说起,无论是刚接触的萌新,还是想查漏补缺的同行,都能找到有用的信息。

weixin_70911870的博客 3167

KTable的简单使用方法

 如果您需要一种大容量(万行级别)的可编辑报表表格控件,那么KTable将是最佳选择。KTable 是一个用java开发的,对控制报表的项目,它最大的特点是使用独特的算法,能支持巨大的报表。 一、概述 KTable是一种表格式的SWT控件,作者Friederich Kupzog和Lorenz Maierhofer。主要功能: 1.         用户自定义界面风格 2.       ...

Myblog 2010

极具性价比的步进电机驱动芯片-TMC2226/TMC2209使用小结

TMC2226/2209相对于TMC2660C、TMC5160来说,价格低了很多,同时功能并没有太多阉割。对比TMC5160,少了内部加减速曲线,电流足够(Ipeak = 2.8A),相对5160而言功能也很足够,所以毫无疑问TMC2226是极具性价比的步进驱动芯片。

Trinamic_TMC的博客 7029

Arduino智能小灯DIY:人体感应+光线感应+蓝牙控制全攻略(附完整代码)

本文提供了一份完整的Arduino智能小灯DIY制作指南。项目融合了人体感应、光线感应与蓝牙控制三大功能,通过详细的硬件清单、电路连接图、核心逻辑讲解及附带的完整代码,手把手教你打造一个能自动感知环境与人、并支持手机远程控制的智能照明装置,是入门智能家居和物联网开发的绝佳实践。

java5的博客 1094

Kafka Streams 核心概念深度解析:拓扑、时间语义、流表对偶性与处理保证

本文围绕 Apache Kafka 仓库中 [docs/streams/core-concepts.md](https://link.gitcode.com/i/d6dacbd4735f477a359e6a1cfe3d7631) 的系统梳理,深入讲解 Kafka Streams 客户端库的五大核心概念:**流处理拓扑(Stream Processing Topology)**、**时间语义(Eve

gitblog_00309的博客 245

PTGui使用教程

PTGui使用教程为啥使用ptgui开始使用ptgui 为啥使用ptgui ptgui是一个全景拼接软件,在海思hi3559上做视频拼接的时候,需要拼接参数,这是就需要使用到ptgui,这里可以在该网站下下载ptgui:下载地址 开始使用ptgui 第一步,加载图片,我这里添加了三幅图 然后添加控制点(可以先多对准几次图像,这样会自动生成一些控制点,但是不保证准确),建议控制点不要太密集 点开镜头设置,勾选以下几个选项以及配置好镜头类型,如下图 点开优化器,在高级界面中配置如下参数,最后点

what_wrong的博客 1万+

Kafka Streams 入门与实战:构建弹性、可扩展、有状态的实时流处理应用

Kafka Streams 是 Apache Kafka 官方的流处理客户端库,用于构建输入/输出数据都存储在 Kafka 集群中的实时应用与微服务。本文以 Kafka 仓库中的 Kafka Streams 官方文档为骨架,结合仓库内真实示例源码,带你从零搭建 WordCount 流处理应用,理解拓扑(Topology)、分区与任务、线程模型、本地状态存储、容错与精确一次语义等核心机制,并掌握 `

gitblog_00241的博客 809

微信小程序 - 详细实现打开跳转第三方 H5 网页链接,在微信小程序内直接跳转打开第三方网站链接详细教程(支持跳转公众号文章等,直接复制代码即可)

小程序跳转h5,小程序-Taro小程序中打开h5页面链接,...小程序跳转h5链接(web-view)_微信小程序,小程序如何跳转h5页面,小程序跳转到第三方H5网页,微信小程序跳转第三方H5的方法,小程序-实现怎么跳转打开H5网页链接(或跳转至公众号文章,打开第三方网站,放校验文件,怎么配置业务域名,校验文件验证域名,把校验文件放到对面网站,别人的服务器也打不开没权限怎么放呢,勾选不校验合法域名,txt,打不开别人的网页怎么办,真机调试打不开,无法跳转,有什么其他办法不放校验文件吗,后台配置,怎么

🏆 前端领域优质创作者 3万+

华为OD机试真题 新系统【进制转换后自定义排序】

华为OD机试 新系统真题【进制转换后自定义排序】,提供C语言、Java、C++、Python、Go、JavaScript源码实现,并提供完整思路讲解,以及在线OJ模拟做题。华为OD机试真题【进制转换后自定义排序】多语言题解。

qq_45776114的博客 599

Kafka Streams Scala 迁移指南:从 kafka-streams-scala 迁移到 Java API(含 WordCount 实战与源码解析)

> **导读**:本文基于 Apache Kafka 官方迁移文档编写,面向正在使用或计划使用 `kafka-streams-scala` 库的 Scala 开发者。该库自 Kafka 4.3 起正式标记为废弃(deprecated),并将在 Kafka 5.0 中移除。读完本文,你将掌握从 Scala 包装 API 平滑迁移到 Java Streams API 的核心差异、Serde 配置的两种

gitblog_00989的博客 494

基于ESP32的智能厨房控制系统开发

随着智能家居技术的发展,越来越多的家庭开始将传统的厨房设备进行智能化改造,以提高烹饪效率和生活质量。智能厨房控制系统是物联网(IoT)应用的重要组成部分,它将家居设备、传感器和网络结合起来,提供便捷的控制与监测功能,使厨房的烹饪过程更加智能、便捷和安全。基于ESP32的智能厨房控制系统不仅能够实现远程控制和监控,还能实现温度、湿度、烹饪状态的实时反馈,甚至具备智能化的推荐和自动化控制能力。ESP32是一款功能强大、集成度高的嵌入式开发平台,具有Wi-Fi和蓝牙双模通信能力,广泛应用于物联网设备的开发。

2201_76125393的博客 659

Apache Kafka 4.3 Kafka Streams Quickstart 实战:从零运行 WordCount 流处理应用

> 本指南以 Kafka 仓库中 [docs/streams/quickstart.md](https://link.gitcode.com/i/78fa9eabcd56890c0431107b79b063a6) 为骨架,完整演示如何在全新环境中下载 Kafka、以 KRaft 模式启动单节点集群、创建输入/输出主题、运行官方 WordCount 示例,并理解其背后 KTable 与 change

gitblog_00416的博客 166

2万字长文:海豚调度器(DolphinScheduler)面试题深入了解

DAG图(有向无环图)是海豚调度器中表示工作流任务依赖关系的一种方式。在DolphinScheduler中,每个任务是一个节点,任务之间的依赖关系通过有向边连接这些节点来表示。无环:保证了工作流的执行顺序是确定的,避免了无限循环的问题。有向:箭头指示了任务的执行方向,即上一个任务的输出可以作为下一个任务的输入。依赖表示:通过图形化界面,用户可以通过拖拽连接线来定义任务之间的先后顺序和依赖关系。并行处理:DAG图可以表示出任务的并行关系,允许多个任务在没有直接依赖关系的情况下同时执行。条件分支。

大模型大数据攻城狮的专栏 1334

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

【Kafka源码解读和使用指南】第73篇:Kafka Streams快速上手——用流处理做实时WordCount

摘要 本文深入浅出介绍了Kafka Streams流处理框架的核心概念和应用。Kafka Streams作为Kafka原生的客户端库,无需额外集群即可实现实时数据处理,具有轻量级部署优势。 文章重点解析了: 核心组件:KStream(事件流)与KTable(状态表)的本质区别及应用场景 架构设计:基于Topology的DAG构建原理和状态存储机制 实战演示:手把手实现实时WordCount程序 技术对比:与Flink/Spark Streaming的适用场景分析 通过本文,读者可以快速掌握Kafka Str

xyghehehehe的专栏 203

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

OpenCore Legacy Patcher 完整指南:老 Mac 免费安装最新 macOS(Big Sur 至 Sequoia)

OpenCore Legacy Patcher(OCLP)是一款免费开源的 macOS 升级工具,它基于 OpenCore 引导加载器与 Lilu 补丁框架,在内存中绕过苹果的机型校验,不改写任何固件,让 2008 年及之后的老 Intel Mac 也能安装 macOS Big Sur 11 到 Sequoia 15。本文带你从零完成一次干净的系统升级:制作 U 盘安装介质、构建专属引导、打完根补

gitblog_00974的博客 184

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

华为的C语言编程规范.pdf

华为技术有限公司内部技术规范。本规范制定了编写C语言程序的基本原则、规则和建议。从代码的清晰、简洁、可测试、安全、程序效率、可移植各个方面对C语言编程作出了具体指导。

Apache Kafka Streams 入门指南:用客户端库构建弹性、有状态、精确一次语义的实时流处理应用

Kafka Streams 是 Apache Kafka 提供的一个**客户端库**,用于构建输入/输出数据都存储在 Kafka 集群中的应用与微服务。它把"编写并部署标准 Java / Scala 客户端程序"的简单性,与 Kafka 服务端集群技术的弹性、可扩展、容错能力结合到了一起,是当前 Kafka 生态中编写生产级实时流处理应用最直接的方式之一。读完本文,你将掌握 Kafka Strea

gitblog_00226的博客 623

初学kafka streams2.1.0原理及代码实现(wordcount)

前面学习了kafka的基础知识,给大家推荐《kafka权威指南》这本书,这次学习kafka streams,参考书籍:《kafka从入门到实践》,电子书分享给大家。但是书中给出的有些示例是比较老的版本,有些类的用法已经更新了,我使用的是最新版的2.1.0,在此推荐大家参考官方文档:http://kafka.apache.org/documentation/streams/ 《kafka权威指南》...

QYHuiiQ 1282

Kafka Streams实战:从嵌入式流处理到实时风控架构

流处理是现代实时数据系统的核心能力,其本质在于对持续到达的事件流进行低延迟、有状态、可恢复的计算。Kafka Streams 作为轻量级嵌入式流处理框架,以‘流与表二元统一’为理论基础,将分布式状态管理、精确一次语义、自动容错等复杂机制封装为 Java API,显著降低实时应用开发门槛。相比 Flink 或 Spark Streaming 等集群式引擎,它通过拓扑即代码、本地 RocksDB 状态存储、Changelog Topic 持久化等设计,在微服务场景中实现亚秒级端到端延迟与极简运维。本文聚焦 Ka

weixin_30681121的博客 318

WinUtil 快速上手:Windows 系统优化与管理实用指南

WinUtil 是一款免费开源的 Windows 系统管理工具,把软件批量安装、系统优化、故障修复和更新策略放进同一个图形界面。它用一行命令安装,面向刚重装系统、希望一次把电脑整理好的用户。下文按实际任务介绍它的五个标签页,以及自定义与安全做法。 ## WinUtil 一览 一句话定位:用一个图形窗口完成装软件、调系统、修故障三类高频操作。 | 维度 | 说明 | | --- | --- |

gitblog_00870的博客 280
上一篇: Kafka: Streams深度解析之构建高可靠流处理应用
下一篇: Kafka: Connect核心架构与应用实践详解
Wang's Blog
博客等级 码龄12年 7440粉丝 2427原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Wang's Blog

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值