消息中间件
关注
分享
扫一扫
文章平均质量分 51
Kafka
后端研发Marion
AI全栈开发者 | 大模型技术布道者
8年+后端架构师转型AI研发，深耕智能体与LLM应用落地
帮助100w+读者掌握技术干货（某C博客百万阅读）
1.4万+开发者关注（某站技术内容创作）
专注：AI工程化 | 大模型微调 | 智能体开发 | 全栈技术实践
我能为你提供：
从0到1的AI项目实战经验
大模型技术前沿解读与避坑指南
程序员转型AI的进阶路径
DeepSeek技术生态深度解析
交流价值：私信开放技术答疑 | 评论区抽取粉丝代码Review
#AI开发 #大模型 #程序员转型 #技术布道 #智能体
展开
-
【Kafka-Eagle】EFAK告警配置与实践
当配置和使用Kafka-Eagle进行告警时，以下是一些更详细的步骤和注意事项：adminadmin需要注意的是，Kafka-Eagle还提供了更多功能，如Topic管理、消费者组管理等。你可以根据具体需求，参考官方文档了解更多详细配置和使用方法。另外，及时更新Kafka-Eagle的版本并遵循最佳实践，有助于获得更好的使用体验和效果。原创 2023-12-22 12:21:57 · 2391 阅读 · 1 评论 -
【Kafka集群】Kafka针对用户做ACL权限控制
在 Kafka 3.3.1 中，可以使用 ACL（Access Control List）控制用户对 topic 的访问权限。在命令行中执行以下命令创建一个名为my-topic其中是一种内置的 ACL 校验器，User:admin是一组超级管理员。如果没有在配置文件中指定 super.users，则只有在 Zookeeper 上配置了访问控制时才会应用 ACL 规则。b. 为特定用户或组添加 ACL 规则现在，开发人员组可以对该 topic 进行读写操作。原创 2023-05-18 11:15:27 · 5114 阅读 · 0 评论 -
【Kafka】Kafka监控工具Kafka-eagle简介
Kafka-eagle是一种基于Web的开源管理工具，可以用来监控、管理多个Kafka集群。下面是使用Docker部署Kafka-eagle的步骤：下载并安装Docker和Docker Compose。等待一段时间后，您可以通过浏览器打开，进入Kafka-eagle Web UI进行操作和管理。注意：如果您使用的是云服务器，则需要确保相关端口已经被正确放行。原创 2023-05-17 10:48:10 · 2440 阅读 · 0 评论 -
【Kafka】Kafka3.3.1集群搭建指南KRaft版本
元数据的管理被整合到了 Kafka 当中，而不需要使用像 ZooKeeper 这样的第三方工具，这大大简化了 Kafka 的架构。这种新的 KRaft 模式提高了分区的可伸缩性和弹性，同时简化了 Kafka 的部署，现在可以不依赖 ZooKeeper 单独部署 Kafka 了。这是第一个标志着可以在生产环境中使用 KRaft（Kafka Raft）共识协议的版本。在几年的开发过程中，它先是在 Kafka 2.8 早期访问版本中发布，然后又在 Kafka 3.0 预览版本中发布。原创 2023-05-10 15:29:13 · 3572 阅读 · 0 评论 -
【ES】Kafka消费堆积报警，elasticsearch [cluster:monitor/nodes/info] timed out after [5000ms]
2. 修改消费者连接ES的超时时间.put("client.transport.ping_timeout", "120s")1. es集群挂掉了，登陆线上监控平台发现es运行正常，但是堆内存使用过高。2. 堆内存过大，可能导致FULL GC，影响ES数据写入，默认是5s超时。3. 优化ES集群堆内存，保持在70%以下，或者扩容。es集群连接超时，导致消费方消费kafka卡死。3. ES长时间运行可能导致堆内存过高。1. 重启es集群，堆内存恢复。原创 2022-08-23 10:08:06 · 1170 阅读 · 0 评论 -
【Kafka性能基准测试】性能基准测试和压力测试
Kafka压力测试(自带测试脚本)(单机版) - 云+社区 - 腾讯云Kafka学习笔记一：快速使用 - 知乎原创 2022-06-09 10:21:45 · 355 阅读 · 0 评论 -
【Kafka】Kafka解决消费积压：Kafka的多线程消费者实现
Kafka的多线程消费者实现 - NYC's Blog原创 2022-06-03 23:10:56 · 397 阅读 · 0 评论 -
【RocketMQ】消息中间件RocketMQ学习资料
一、参考资料面渣逆袭：RocketMQ二十三问原创 2022-05-26 15:18:18 · 159 阅读 · 0 评论 -
【Kafka】SpringBoot集成消息中间件Kafka、RocketMQ
一、参考资料Kafka入门（五）spring集成kafka_楚景然的博客-优快云博客_kafka springkafka的二次封装_三乐君的博客-优快云博客_java kafka封装1. 封装生产者EventProducer 1定义生产者配置与事件类 2. 同步直接发送，无延迟 3. 异步放入Deque双端队列，线程池发送消息2. 封装消费者EventConsumer 1. 定义消费者配置 2. ...原创 2022-05-09 11:30:36 · 732 阅读 · 0 评论 -
【RocketMQ】RocketMQ入门与实战
一、参考资料看完保送阿里的RocketMQ知识点（超详细）_敖丙-优快云博客_rocketmq 敖丙RocketMQ吐血总结_武汉红喜-优快云博客_rocketmq阿里RocketMQ Quick Start_怀揣梦想，努力前行-优快云博客_阿里rocketmqGitHub - apache/rocketmq: Mirror of Apache RocketMQQuick Start - Apache RocketMQ...原创 2021-12-26 00:06:37 · 993 阅读 · 0 评论 -
【Kafka】SpringBoot集成Kafka
一、参考资料springboot 之集成kafka - 简书SpringBoot整合kafka(实现producer和consumer) - 简书原创 2021-10-04 10:24:13 · 237 阅读 · 0 评论 -
【微服务消息中间件】Kafka概述与原理
一、参考资料1. kafka设计与原理Kafka 设计与原理详解_Heaven Wang 的专栏-优快云博客_kafka原理一、Kafka简介1.1 背景历史当今社会各种应用系统诸如商业、社交、搜索、浏览等像信息工厂一样不断的生产出各种信息，在大数据时代，我们面临如下几个挑战：如何收集这些巨大的信息如何分析它如何及时做到如上两点以上几个挑战形成了一个业务需求模型，即生产者生产（produce）各种信息，消费者消费（consume）（处理分析）这些信息，而在生产者与消费者之间，需要一个沟通两者的桥梁原创 2021-10-01 12:46:03 · 226 阅读 · 0 评论 -
【Kafka】Kafka重复消费场景及解决方案
一、参考资料技术干货分享 | Kafka重复消费场景及解决方案原创 2021-09-09 18:01:05 · 381 阅读 · 0 评论 -
《分布式消息系统之Kafka》一、基本原理
两张图读懂kafka应用：image.pngimage.png1. Kafka 中的术语broker：中间的kafka cluster，存储消息，是由多个server组成的集群。 topic：kafka给消息提供的分类方式。broker用来存储不同topic的消息数据。 producer：往broker中某个topic里面生产数据。 consumer：从broker中某个topic获取数据。2. 详细说明Broker中间的kafka cluster，存储消息，是由.转载 2020-07-03 15:51:40 · 301 阅读 · 0 评论