Kafka实战记录-目录

最新推荐文章于 2025-12-01 17:20:02 发布
原创 最新推荐文章于 2025-12-01 17:20:02 发布 · 219 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#kafka #java #大数据

Kafka 实战 - Kafka Consumer 重置 Offset
6个日的博客
05-22 2365
使用AdminClient.resetOffsets()方法，指定消费者组、偏移量规格（基于目标时间点）以及受影响的TopicPartition，执行偏移量重置操作。在开发测试过程中，可能需要消费一段时间的消息，来验证数据的可靠性，这里需要消费者（Consumer）重置其消费的偏移量（Offset）。--to-datetime: 设置重置偏移量的目标时间点。--all-topics: 重置该消费者组订阅的所有Topic的偏移量。--reset-offsets: 表示要执行偏移量重置操作。
kafka实战--代码应用
qq_44871116的博客
01-10 1050
以下是本篇文章正文内容，下面案例可供参考以上就是对Kafka在代码中的简单的使用，希望能帮助到大家。
Kafka学习笔记--《Apache Kafka实战》
u010439466的博客
03-17 1987
目录 Kafka快速搭建 Kafka--producer开发 构造Properties对象 1、bootstrap.servers=localhost:9092 2、key.serializer--消息key的序列化转换器 3、value.serializer--消息value的序列化转换器 4、acks--用于控制producer生产消息的持久性(怎样保证消息不丢失？) ...
kafka实战
weixin_30614109的博客
11-08 5816
1. kafka介绍 1.1. 主要功能 根据官网的介绍，ApacheKafka®是一个分布式流媒体平台，它主要有3种功能： 　　1：It lets you publish and subscribe to streams of records.发布和订阅消息流，这个功能类似于消息队列，这也是kafka归类为消息队列框架的原因 　　2：It lets ...
Kafka 集群指南-实战版
Jason_i7的博客
05-29 1166
虽然kafka-topics.sh显示分区2的Leader是broker 3（IP: 10.10.1.103），但生产者实际请求被broker 1（10.10.1.101）拒绝，表明broker 1的本地元数据可能未更新，或分区领导者信息在集群中未同步。访问：https://github.com/danielqsj/kafka_exporter，手动下载，目前选择的是kafka_exporter-1.9.0.linux-amd64.tar.gz。选择该版本 考虑到2.8.1为JDK8支持的较稳定版本。
Kafka实战记录（2）-命令行操作
猪爷爷先生的博客
02-20 430
目录 Kafka实战记录-目录：https://blog.youkuaiyun.com/weixin_39565597/article/details/104402046 1、启动kafka # 启动kafka kafka-server-start.sh [-daemon] server.properties [--override property=value]* # -daemon 是否以守护进程开启...
Kafka实战记录（3）-JavaApi操作
猪爷爷先生的博客
02-23 730
目录 Kafka实战记录-目录：https://blog.youkuaiyun.com/weixin_39565597/article/details/104402046 1、启动kafka # 启动kafka kafka-server-start.sh [-daemon] server.properties [--override property=value]* # -daemon 是否以守护进程开启...
flink sql clinet 实战：upsert kafka connector -- flink-1.12
chbxw
10-20 2302
flink sql client: upsert-kafka connector
Kafka运维实战 06 - kafka 单机部署指南(混合模式)(KRaft 版本3.7.0)
cuiwin的专栏
07-18 1023
Kafka KRaft 版本（即 Kafka 3.0 及更高版本）使用 KRaft 模式（Kafka Raft 协议）替代 ZooKeeper 进行集群管理，简化了部署流程。Kafka 是用 Scala 和 Java 开发的，因此需要特定版本的 Scala 编译。版本号中的 2.13 表示该 Kafka 版本是用 Scala 2.13.x 编译的。不覆盖修改，则启动的JVM参数采用bin/kafka-server-start.sh 默认。这里展示了历史的kafka各个版本。前台启动（方便调试）
Kafka实战记录（1）-安装部署：
01-07
Kafka实战记录-目录：https://blog.youkuaiyun.com/weixin_39565597/article/details/104402046 1、介绍 Kafka是一个分布式消息队列。Producer（生产者） push（推送） 消息到Broker Cluster（kafka集群），Comsumer（消费...
kafka-manager-2.0.0.2-kafka2.13.2-8.0.zip
08-25
《Kafka Manager 2.0.0.2：深度解析与实战指南》 Kafka Manager是用于管理和监控Apache Kafka集群的强大工具，它为用户提供了直观的界面，方便进行集群配置、主题管理、消费者组监控等一系列操作。在本文中，我们将...
FLINK实现一个sink同时写入一个kafka实例的多个topic
luohualiushui1的专栏
12-01 866
FLINK实现一个sink同时写入一个kafka实例的多个topic
如何选择合适的 Diskless Kafka
最新发布
AutoMQ的博客
12-01 644
在本文中，我们首先审视了云原生时代 Kafka 所面临的种种挑战，剖析了Diskless Kafka架构兴起的背后动因及其核心内涵。随后，我们将目光投向了 AutoMQ 一一它是目前市场上唯一一款提供开源Diskless Kafka选项的解决方案。最后，我们从额外组件需求、写入灵活性、读取侧的数据局部性以及元数据管理这四个维度出发，深度对比了Diskless Kafka系统中的两条主流技术路线：基于 Leader（Leader-based）与无 Leader（Leaderless）架构的异同。
Windows版本的kafka的搭建与使用
二进制专栏
12-01 229
在这个目录下：D:\tools\kafka_2.13-3.8.1\bin\windows。可以编写一个 windows 版本的 shell 脚本，点击一下，直接启动。可以创建 topic,并且收发消息进行测试，发现非常快速，测试完成。接着在桌面上点击这个 bat 文件即可。重命名 zoo.cfg。
外卖霸王餐用户画像标签系统：Spark SQL批处理+Kafka流处理混合计算
12-01 845
吃喝不愁APP的“霸王餐”频道每天产生千万级订单事件，需在分钟级完成用户画像标签更新，支撑“千人千面”发券、风控反薅、商家补贴结算三大场景。技术选型：Spark SQL做小时级批处理补全历史，Kafka+Flink做秒级流处理修正最新状态，混合计算结果统一落入HBase，对外提供毫秒级查询。本文著作权归吃喝不愁app开发者团队，转载请注明出处！
Kafka定理剖析：分区数要大于消费者数
随记
12-01 541
分区数要大于消费者数？答案是：正确，但它是一个“底线”规律，是为了防止资源浪费。在实际架构设计中，我们追求的是一个更优的实践：根据你期望达到的最大消费并发能力来设置分区数，并确保分区数 >= 最大消费者实例数，同时为未来扩展预留一定空间。分区数决定了你消费端并行能力的上限。设置的消费者实例数不应超过这个上限，但可以根据实际负载动态调整（例如在流量低谷时减少实例数以节省资源）。
Kafka深度剖析：Topic-Partition-Segment 关系、分区策略与数据可靠性实现
sjkflw121150的博客
12-01 462
组件定义作用类比Topic消息的逻辑分类（如），全局唯一，包含多个 Partition。隔离业务消息（如订单、日志分属不同 Topic）图书馆的“文学区”“科技区”PartitionTopic 的物理分片（有序日志文件），分布式存储的基本单位，可跨 Broker。并行处理（多 Partition 并行读写）、扩展容量文学区的“第 1 排书架”SegmentPartition 的物理存储单元（由多个 Segment 文件组成），默认 1GB/Segment。
Java 泛型详解：类型参数的力量
ZHE|张恒的博客
11-28 1144
本文系统讲解了Java泛型的概念与使用方式。泛型通过在类或方法中引入类型参数，提高了代码的类型安全性和复用性。主要内容包括：1）泛型的基本语法，如定义泛型类和接口；2）泛型方法及其类型推断；3）三种通配符（?、? extends T、? super T）的使用场景；4）边界限制和多重限制；5）泛型的优缺点，如类型安全与类型擦除的影响；6）常见陷阱，如静态上下文和instanceof的限制。泛型是现代Java编程的重要特性，能显著减少类型转换和运行时错误。
kafka-入门实战
02-25
### Kafka入门教程实战案例 #### 创建并配置开发环境 为了开始使用Kafka，需先安装Apache Kafka以及设置好相应的开发环境。通常情况下，在本地环境中搭建一个单节点的Kafka集群用于学习和测试就足够了。 #### 编写简单的生产者程序 通过编写Java应用程序来发送消息到指定的主题。这里展示了一个基本的例子，其中包含了如何创建一个自定义分区策略的生产者[^2]： ```java import org.apache.kafka.clients.producer.*; import java.util.Properties; public class ProducerPartitionStrategyTest { public static void main(String[] args) { Properties props = new Properties(); props.put("bootstrap.servers", "localhost:9092"); props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer"); props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer"); try (Producer<String, String> producer = new KafkaProducer<>(props)) { for (int i = 0; i < 100; i++) { ProducerRecord<String, String> record = new ProducerRecord<>("my-topic", Integer.toString(i), "message-" + i); producer.send(record); } } catch (Exception e) { System.err.println(e.getMessage()); } } } ``` 这段代码展示了怎样初始化`Properties`对象以配置连接参数，并利用`KafkaProducer`类实例化生产者对象。接着循环调用`send()`方法向名为`my-topic`的目标主题发布一系列记录。 #### 查看主题详情 可以借助命令行工具查看特定主题的信息，这有助于理解当前主题的状态及其副本分布情况。例如，下面这条指令可用于获取有关`my-replicated-topic`的具体描述信息[^3]: ```bash ./kafka-topics.sh --describe --zookeeper 192.168.1.106:2181 --topic my-replicated-topic ``` 此命令执行后将会返回关于该主题的一些元数据，包括其所属的分片数量、领导者位置以及其他重要的属性。 #### 构建简易流处理应用 构建基于Kafka Streams的应用程序，实现从输入主题读取消息并将它们转换成大写字母后再存入另一个输出主题的功能[^1]。以下是简化版的实现逻辑： ```java StreamsBuilder builder = new StreamsBuilder(); KStream<String, String> textLines = builder.stream("input-topic"); textLines.mapValues(value -> value.toUpperCase()).to("output-topic"); ``` 上述片段说明了如何建立一条由源主题流向目标主题的数据管道，并在此过程中对每条记录的内容进行了大小写的变换操作。 #### 客户端管理 除了单独启动各个组件外，还可以在同一进程中同时拥有多个生产者或消费者的实例。这种灵活性允许开发者更高效地管理和扩展自己的分布式系统架构[^4]。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值