kafka 顺序消费， spark streaming exactly-once以及零丢失的一些总结

最新推荐文章于 2025-04-21 18:38:48 发布

holomain

最新推荐文章于 2025-04-21 18:38:48 发布

阅读量1.7k

点赞数

分类专栏：流全栈处理文章标签：消息有序 exactly-once kafka offset

kill yak-shaving

本文链接：https://blog.youkuaiyun.com/qq_27882063/article/details/82719407

版权

本文介绍了Kafka作为分布式流式平台的特性，以及如何实现Kafka的顺序消费和Spark Streaming的exactly-once保证。在Kafka中，通过设置多个分区和副本确保消息有序，并探讨了offset管理和数据一致性。文中提到了MySQL到Kafka的数据流，以及如何通过Maxwell producer将数据写入Kafka，最后通过Spark streaming进行顺序消费并实现exactly-once语义。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Kafka:定义：

消息中间件 –>分布式流式平台

生产者   source
Broker channel
消费者 sink

正常部署的是：

 Broker进程（一个机器一个（分布式），一个机器多个（伪分布式））

使用场景：

Flume-->Kafka-->Spark streaming 实时流式Kafka Streaming

特点：

发布/订阅
实时app
分布式  副本数 一个
SCALA编写

部署: kafka_2.11-0.10.0.0.tgz
scala version：2.11

准备环境:

1.JDK
   java -version
2.Scala 
   scala -version
3.Zookeeper
[root@node85 software]# ln -s zookeeper-3.4.6 zookeeper
[root@node85 software]# ll
total 462992  
lrwxrwxrwx   1 hdfs hdfs        33 Jan

命令解释：

 软连接：ln -s   物理文件夹/文件 快捷的文件夹/文件 
 1.删除 快捷的文件夹/文件 ，增加安全系数
 2.多版本管理
 3.硬连接

常用命令:kafka-topics.sh

bin/kafka-topics.sh --create \--zookeeper node85:2181,node86:2181,node87:2181/kafka \--replication-factor 3 \--partitions 3 \--topic test

高并发写/读：

bin/kafka-topics.sh --list \--zookeeper node85:2181,node86:2181,node87:2181/kafka

生产者：

bin/kafka-console-producer.sh \--broker-list node85:9092,node86:9092,node87:9092 \--topic test

最低0.47元/天解锁文章