Kafka - 消息队列的丢失、重复与积压_从生产到消费的完整解决方案 引入 MQ 消息中间件最直接的目的是：做系统解耦合流量控制，追其根源还是为了解决互联网系统的高可用和高性能问题。系统解耦：用 MQ 消息队列，可以隔离系统上下游环境变化带来的不稳定因素，比如XX服务的系统需求无论如何变化，YY服务不用做任何改变，即使当XX服务出现故障，YY流程也可以将京豆服务降级，实现XX服务和YY服务的解耦，做到了系统的高可用。流量控制：遇到秒杀等流量突增的场景，通过 MQ 还可以实现流量的“削峰填谷”的作用，可以根据下游的处理能力自动调节流量。

阅读 1.4k

16赞

收藏 25
Kafka 如何保证数据不丢失？不重复？ 当设置成false时，由于是手动提交的，可以处理一条提交一条，也可以处理一批，提交一批，由于consumer在消费数据时是按一个batch来的，当pull了30条数据时，如果我们处理一条，提交一个offset，这样会严重影响消费的能力，那就需要我们来按一批来处理，或者设置一个累加器，处理一条加1，如果在处理数据时发生了异常，那就把当前处理失败的offset进行提交(放在finally代码块中)注意一定要确保offset的正确性，当下次再次消费的时候就可以从提交的offset处进行再次消费。

阅读 1.0k

7赞

收藏 10
Apache Kafka 4.0重磅发布，核心特性速览！ 然而，在某些特定场景下，如点对点的消息传递、任务分配等，传统的队列语义更具优势。2025年3月18日，Kafka 迎来了具有里程碑意义的 4.0 版本更新，这次更新不仅带来了性能的显著提升，更在功能和架构上实现了全面革新，为开发者和运维人员解锁了前所未有的技术可能性。：向 ProductionExceptionHandler 添加 "retry" 返回选项：解决了 Kafka Streams 中的持续错误问题，提供了可定制的错误处理，使得可以重试、优雅地失败或丢弃有问题的记录，从而继续高效地处理。

阅读 990

17赞

收藏 11
Kafka篇之参数优化进而提高kafka集群性能 kafka参数优化

阅读 2.0k

11赞

收藏 12
《Kafka 理解： Broker、Topic 和 Partition》 核心内容​Kafka 是什么？​Kafka 的核心组件​他们三者的关系

阅读 1.3k

29赞

收藏 17
Kafka报错ERROR Exiting Kafka due to fatal exception during startup 找到你的logs文件目录下然后找到meta.properties并删除。

阅读 4.2k

15赞

收藏 8
Prometheus监控Kafka（三种方法JMX Kafka_exporter KMINION监控Kafka）_kafka exporter 目的是下次启动kafka进程的同时，运行一个jmx-agent并指定agent的端口。使用curl命令重启prometheus的前提是：首次启动Prometheus时，就启用。下载dashboard模板，配合jmx-agent使用时，建议使用11962号模板。使用阿里云提供的jmx-agent包，比较稳定靠谱，就不故意选择最新版本了。份系统化的资料的朋友，可以添加V获取：vip204888 （备注大数据）**修改kafka启动脚本的配置参数，可参考阿里云。这一行之后，新增JMX-agent内容。

阅读 2.6k

25赞

收藏 11
【大数据】Flink + Kafka 实现通用流式数据处理详解 Flink + Kafka 实现通用流式数据处理详解

阅读 1.6w

137赞

收藏 144
【Kafka】Windows下安装Kafka（全面） 【Kafka】Windows下安装Kafka（全面）

阅读 1.0w

21赞

收藏 65
C# 与 Kafka：事件驱动的微服务架构 事件驱动架构（Event-Driven Architecture, EDA）是一种软件架构模式，其中应用程序的不同组件通过发布和订阅事件来进行通信。这种模式允许组件之间保持松散耦合，提高系统的灵活性和可扩展性。通过这篇俏皮可爱的指南，我们不仅了解了 C# 和 Kafka 在事件驱动架构中的基本概念，还学习了如何在 C# 中实现 Kafka 的生产者和消费者。现在，你可以尝试在自己的项目中实践这些知识，让你的代码更加灵活和易于维护！如果你有任何疑问或者想要深入了解某个主题，请随时告诉我！

阅读 833

9赞

收藏 23
Kafka客户端工具：Offset Explorer 使用指南 Kafka客户端工具：Offset Explorer 使用指南

阅读 1.7w

23赞

收藏 47
Linux 安装 kafka 例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。提示：以下是本篇文章正文内容，下面案例可供参考Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。

阅读 6.5k

22赞

收藏 61
Java人最优秀的kafka笔记 结合springboot，帮助你快速学习与复习kafka，了解kafka的相关内容

阅读 1.1k

25赞

收藏 11
作者推荐
_L_J_H_
热衷技术研究分享，涉及 Java 底层源码分析、Spring Cloud 、 Spring Boot 、消息中间件、搜索引擎、关系型数据库、非关系型数据库、锁等技术，以小白思路分享高质量文章
关注
优人ovo
知行合一
关注
北i
不要在乎一城一池的得失，我们的追求是星辰大海
关注
open_test01
记录个人学习笔记
关注
磐基Stack专业服务团队
志不求易者成，事不避难者进
关注
沉默终止
life is a movie
关注
Laurence　
架构师，著有《大数据平台架构与原型实现：数据中台建设实战》一书，对大数据、云计算、数据湖、数据中台、企业级应用架构、域驱动设计有丰富的实践经验。
关注
隔着天花板看星星
每日预留须臾，静思冥想，心游万仞。此乃创新之源泉，进步之阶梯，成长之维他命，为自我超越注入不绝动力。
关注
太阳伞下的阿呆
愿天下的每个阿呆都能拥有一个可以依靠的太阳伞
关注
程序员白总
软件开发工程师，公众号”程序员白总“
关注