Kafka-Broker Spread，Broker Skewed，Broker Leader Skewed指标含义

最新推荐文章于 2024-06-30 17:54:50 发布
原创 最新推荐文章于 2024-06-30 17:54:50 发布 · 4.0k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#kafka

本文旨在深入探讨Kafka的BrokerSpread指标，通过kafka-eagle的源码分析，结合实例解释其含义。作者试图弥补网上资料的不足，帮助读者更透彻地理解Kafka集群的监控关键点。

Kafka 几个监控指标的含义

网上也有很多文章讲解这些个指标的含义，但总感觉还不够透彻。至少我是一知半解的。我查看了kafka eagle的源码，再举一些栗子来说明。

Broker Spread

引用

kafka-eagle几个指标含义

【Kafka】kafka-eagle几个指标含义
九师兄
09-22 2823
1.概述 转载:kafka-eagle几个指标含义 1. Preferred Leader 默认用Replicas副本集里的第一个副本作为leader。 2. Brokers Spread 看作broker使用率，如kafka集群9个broker，某topic有7个partition，则broker spread: 7 / 9 = 77% 3. Brokers Skew partition是否存在倾斜，如kafka集群9个broker，某topic有18个partition，正常每个broker应该2个pa
60-10-050-命令-kafka-broker-api-versions.sh
九师兄
01-06 928
文章目录1.视界概述 1.视界 概述 在Kafka 0.10.2.0之前，Kafka服务器端和客户端版本之间的兼容性是“单向”的，即高版本的broker可以处理低版本client的请求。反过来，低版本的broker不能处理高版本client的请求。由于升级client要远比升级broker简单得多，因此这个限制给很多用户带来了麻烦，甚至有很多人都不愿意去升级broker版本——毕竟无downtime的情况下正确升级Kafka服务器是个不小的挑战。 自0.10.2.0版本开始，社区对这个问题进行了优化——对
Kafka Brokers Leader Skewed.md
07-30
Kafka Leader 倾斜
Kafka问题整理 (Too many open files等)/kafka重要参数总结
kekevin的博客
04-21 8833
Kafka集群搭建好以后，运行一段时间Kafka节点挂掉，程序中出现如下错误 ERROR Error while accepting connection (kafka.network.Acceptor) java.io.IOException: Too many open files 使用命令：ulimit -a 查看每个用户允许打开的最大文件数 发现系统默认的是open files (-n) 1024，问题就出现在这里。 然后执行：ulimit -n 4096 ...
kafka分区，副本，倾斜及日常操作
wangtingting_100的博客
05-14 4326
Topic Summary： Replication 3 Number of Partitions 15 Sum of partition offsets 0 Total number of Brokers 13 Number of Brokers for Topic 10 Preferred Replicas % 100 Brokers Skewe...
Kafka~特殊技术细节设计：分区机制、重平衡机制、Leader选举机制、高水位HW机制
Shangxingya的博客
06-30 1083
Kafka 的分区机制是其实现高吞吐和可扩展性的重要特性之一。Kafka 中的数据具有三层结构，即主题（topic）-> 分区（partition）-> 消息（message）。一个 Kafka 主题可以包含多个分区，而每个分区又可以包含多条消息。Topic和Partition是kafka中比较重要的概念。
精选资源
eventing-kafka-broker:备用Kafka Broker实施
04-17
【标题】"eventing-kafka-broker：备用Kafka Broker实现" 在Kubernetes和云原生领域，事件驱动架构已经成为微服务设计中的一个重要组成部分。Knative是Google主导的一个开源项目，旨在提供一套构建、部署和管理云...
kafka-eagle几个指标含义
lck_csdn的博客
12-22 413
1.Preferred Leader 默认用Replicas副本集里的第一个副本作为leader。 2.Brokers Spread 看作broker使用率，如kafka集群9个broker，某topic有7个partition，则broker spread: 7 / 9 = 77% 3.Brokers Skew partition是否存在倾斜，如kafka集群9个broker，某topic有18个partition，正常每个broker应该2个partition。若其中有3个broker上的partiti
Kafka重要的监控指标
紫蝶侠的博客
07-10 6509
Kafka监控:主要性能指标 Kafka Manager几个指标含义 Brokers Spread：看作broker使用率，如kafka集群9个broker，某topic有7个partition，则broker spread: 7 / 9 = 77% Brokers Skew：partition是否存在倾斜，如kafka集群9个broker，某topic有18个partition，正常每个broker应该2个partition。若其中有3个broker上的partition数>2，则broker
kafka维护工具使用指南
xhpscdx的专栏
08-04 1万+
一.前言 kafka-manager是Yahoo开源的Kafka管理工具，并在持续提交。是目前最好用kafka监控开源软件。 由于文档较少，scala开发，对于有些术语的确无法理解，请抱歉。 本文也介绍运维常用kafka命令。 文档根据大家反馈，会持续更新，请关注. 二.kafka-manager介绍 管理多个集群 方便查看集群状态 执行preferred replica election 批量为多
RW_Skewed_Low_40C_DataSet_2Post.zip
03-22
nasa电池数据，需要数据的可以下载看一下，保证很好用。我就是用了这个数据才写出论文的，看看吧。适合电池性能分析和SOC使用
kafka指标说明及使用命令
weixin_41347226的博客
06-05 2375
1.kafka的指标说明 Brokers Spread：看作broker使用率，如kafka集群9个broker，某topic有7个partition，则broker spread: 7 / 9 = 77% Brokers Skew：partition是否存在倾斜，如kafka集群9个broker，某topic有18个partition，正常每个broker应该2个partition。若其中有3个broker上的partition数>2，则broker skew: 3 / 9 = 33% Br
麒麟系统下kafka-manager部署以及详细使用方法
lcm_linux的博客
11-25 1291
一、kafka-manager 简介 为了简化开发者和服务工程师维护Kafka集群的工作，yahoo构建了一个叫做Kafka管理器的基于Web工具，叫做 Kafka Manager。这个管理工具可以很容易地发现分布在集群中的哪些topic分布不均匀，或者是分区在整个集群分布不均匀的的情况。它支持管理多个集群、选择副本、副本重新分配以及创建Topic。同时，这个管理工具也是一个非常好的可以快速浏览...
Kafka Manager几个指标含义
weixin_30810239的博客
06-15 1107
记忆早退 Brokers Spread：看作broker使用率，如kafka集群9个broker，某topic有7个partition，则broker spread: 7 / 9 = 77% Brokers Skew：partition是否存在倾斜，如kafka集群9个broker，某topic有18个partition，正常每个broker应该2个partition。若其中有3个br...
Kafka动态修改副本数及遇到的坑
qhj0423的博客
04-22 1万+
实际项目中我们可能在创建topic时没有设置好正确的replication-factor，导致kafka集群虽然是高可用的，但是该topic在有broker宕机时，可能发生无法使用的情况。topic一旦使用又不能轻易删除重建，因此动态增加副本因子就成为最终的选择。 原因分析： 假设我们有3个kafka broker分别broker0、broker1、broker2. 当我们创建的topic有3个分...
Kafka历史---Kafka从入门到精通（五）
ke1ying的博客
07-18 716
Kafka历史---Kafka从入门到精通（五）
kafka manager的使用，kafka manager页面参数说明
热门推荐
每个人都是一道菜。。。
02-25 2万+
kafka-manager是kafka集群管理工具，由雅虎开源，用户可以在Web界面执行一些简单的集群管理操作。具体支持以下内容(从githup上kafka-manager项目的readme得到功能列表)：  - Manage multiple clusters  - Easy inspection of cluster state (topics, consumers, offsets, br...
Kafka体系架构详细分解
zdy0_2004的专栏
03-08 570
基本概念 Kafka 体系架构 Kafka 体系架构包括若干 Producer、若干 Broker、若干 Consumer，以及一个 ZooKeeper 集群。 在 Kafka 中还有两个特别重要的概念—主题（Topic）与分区（Partition）。 Kafka 中的消息以主题为单位进行归类，生产者负责将消息发送到特定的主题（发送到 Kafka 集群中的每一条消息都要指定一个主题），...
25.45.48.105 kafka-broker1 25.45.48.191 kafka-broker2 25.45.49.19 kafka-broker3。kafka-broker1怎么获取
最新发布
07-26
你提到的 `kafka-broker1`、`kafka-broker2`、`kafka-broker3` 是你为 Kafka 集群中的三台 broker 主机配置的别名（host alias），这些别名是你在本地 `/etc/hosts` 文件中定义的，用于将 IP 地址映射为主机名，方便 Kerberos 认证和 Kafka 配置。 --- ## 🧩 问题：`kafka-broker1` 怎么获取？ 你问的 `kafka-broker1` 是你本地定义的主机名（别名），它本身不是“获取”的对象，而是你为 Kafka broker 的 IP 地址 `25.45.48.105` 所起的主机名。它的作用是： - 用于 Kerberos 认证（principal 通常为 `kafka/kafka-broker1@REALM`） - 用于 Kafka 客户端连接 Kafka broker - 用于服务间通信时使用主机名而非 IP --- ## ✅ 如何确保 `kafka-broker1` 可用？ ### 1. 确保 `/etc/hosts` 中已配置 在你的客户端机器（运行 Kafka 消费者或生产者的机器）上，确保 `/etc/hosts` 文件中包含如下内容： ```bash 25.45.48.105 kafka-broker1 25.45.48.191 kafka-broker2 25.45.49.19 kafka-broker3 ``` > ✅ **注意：** 如果你是在 Windows 上开发，编辑的是 `C:\Windows\System32\drivers\etc\hosts` 文件。 --- ### 2. 验证 `kafka-broker1` 是否能解析 你可以使用以下命令验证主机名是否解析正确： #### Linux / Mac： ```bash ping kafka-broker1 nslookup kafka-broker1 ``` #### Windows： ```cmd ping kafka-broker1 nslookup kafka-broker1 ``` 如果能成功解析到 `25.45.48.105`，说明配置成功。 --- ## ✅ 如何获取 Kafka broker 的 `kafka-broker1` 的 Kerberos principal？ Kafka broker 的 principal 通常形如： ``` kafka/kafka-broker1@HADOOP.COM ``` 你需要从 Kerberos KDC 管理员处获取该 principal 的 keytab 文件，或者使用以下命令在 KDC 上创建： ```bash # 在 KDC 服务器上执行 ktutil add -p sh_sjzt_dwzy@HADOOP.COM -k kafka-broker1.keytab ``` 然后将该 keytab 文件拷贝到 Kafka broker 节点上，并在 Kafka broker 的配置中指定： ```properties sasl.jaas.config=com.sun.security.auth.module.Krb5LoginModule required \ useKeyTab=true \ storeKey=true \ keyTab="/path/to/kafka.keytab" \ principal="kafka/kafka-broker1@HADOOP.COM"; ``` --- ## ✅ Kafka broker 如何配置 `kafka-broker1` 的主机名？ 在 Kafka broker 的 `server.properties` 文件中，你需要确保以下配置项使用了主机名而不是 IP： ```properties # Kafka broker 的监听地址 listeners=PLAINTEXT://kafka-broker1:21007 # 对外广播的地址（其他客户端连接时使用） advertised.listeners=PLAINTEXT://kafka-broker1:21007 ``` > ⚠️ 如果你使用 IP 地址而不是主机名，Kerberos 认证将失败。 --- ## ✅ Kafka 客户端如何使用 `kafka-broker1` 在 Kafka 客户端（消费者或生产者）配置中，使用如下方式连接： ```yaml mrs: kafka: bootstrap-servers: kafka-broker1:21007,kafka-broker2:21007,kafka-broker3:21007 security-protocol: SASL_PLAINTEXT sasl-kerberos-service-name: kafka ``` 并在 JAAS 配置中指定你的用户 principal 和 keytab 文件： ```java props.put("sasl.jaas.config", "com.sun.security.auth.module.Krb5LoginModule required " + "useKeyTab=true " + "storeKey=true " + "keyTab=\"/path/to/user.keytab\" " + "principal=\"sh_sjzt_dwzy@HADOOP.COM\";"); ``` --- ## ✅ 示例：完整的 Kafka 消费者 Java 代码（使用主机名） ```java import org.apache.kafka.clients.consumer.*; import org.apache.kafka.common.serialization.StringDeserializer; import java.time.Duration; import java.util.Collections; import java.util.Properties; public class KafkaConsumerExample { public static void main(String[] args) { Properties props = new Properties(); props.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, "kafka-broker1:21007"); props.put(ConsumerConfig.GROUP_ID_CONFIG, "test-group"); props.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class.getName()); props.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class.getName()); props.put(ConsumerConfig.AUTO_OFFSET_RESET_CONFIG, "earliest"); // Kerberos 配置 props.put("security.protocol", "SASL_PLAINTEXT"); props.put("sasl.kerberos.service.name", "kafka"); props.put("sasl.jaas.config", "com.sun.security.auth.module.Krb5LoginModule required " + "useKeyTab=true " + "storeKey=true " + "keyTab=\"/path/to/user.keytab\" " + "principal=\"sh_sjzt_dwzy@HADOOP.COM\";"); Consumer<String, String> consumer = new KafkaConsumer<>(props); consumer.subscribe(Collections.singletonList("xx")); try { while (true) { ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(100)); for (ConsumerRecord<String, String> record : records) { System.out.printf("Received: %s (Topic: %s, Partition: %d, Offset: %d)%n", record.value(), record.topic(), record.partition(), record.offset()); } } } finally { consumer.close(); } } } ``` --- ## ✅ 总结 | 目标 | 操作 | |------|------| | 使用 `kafka-broker1` | 在 `/etc/hosts` 中配置 IP 到主机名的映射 | | 验证主机名是否可用 | 使用 `ping`, `nslookup`, `dig` | | 获取 Kafka broker 的 principal | 从 KDC 管理员获取 `kafka/kafka-broker1@REALM` 的 keytab | | Kafka broker 配置 | 使用主机名配置 `listeners` 和 `advertised.listeners` | | Kafka 客户端配置 | 使用主机名连接 Kafka，配置 Kerberos JAAS | ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值