Kafka: AdminClient 核心操作详解之Topic 信息查询、配置修改与分区管理

32 | KafkaAdminClient:Kafka的运维利器 KafkaAdminClient:Kafka的运维利器 阅读详情

Topic 描述信息查看


通过 describeTopics 方法获取 Topic 的元数据详情,包括分区分布、副本集和 ISR(In-Sync Replicas)状态

Topic 描述信息查看
通过 describeTopics 可获取 Topic 的详细信息(如分区分布、副本集状态)。核心字段包括:

  • name:Topic 名称。
  • internal:是否为 Kafka 内部 Topic(如 __consumer_offsets)。
  • partitions:分区列表(数组结构),每个分区包含:
    • partitionId:分区编号(从 0 开始)。
    • leader:当前 Leader 副本所在的 Broker ID。
    • replicas:所有副本的 Broker ID 列表。
    • isr:同步副本集(In-Sync Replicas),即与 Leader 数据保持同步的副本列表。

技术细节:

  • ISR 是保障数据一致性的关键机制,仅 ISR 中的副本可被选举为 Leader。
  • 若分区数据分布不均(如某分区 Leader 频繁切换),需检查 Broker 负载或副本分布策略。

1 ) 方案1

import { Admin, Kafka } from 'kafkajs';
 
async function describeTopic() {
  const kafka = new Kafka({ brokers: ['localhost:9092'] });
  const admin: Admin = kafka.admin();
  
  await admin.connect();
  const result = await admin.describeTopics(['TOPICA']);
  
  // 解析并打印 Topic 详情
  result.topics.forEach(topic => {
    console.log(`Topic: ${topic.name}`);
    console.log(`Internal: ${topic.internal}`);
    topic.partitions.forEach(partition => {
      console.log(`Partition ID: ${partition.partitionId}`);
      console.log(`Leader: ${partition.leader}`);
      console.log(`Replicas: ${partition.replicas.join(',')}`);
      console.log(`ISR: ${partition.isr.join(',')}`); // 同步副本集合
    });
  });
  
  await admin.disconnect();
}
describeTopic();

关键字段解析

  • Partitions:Topic 的分区列表,每个分区包含:
    • partitionId:分区唯一标识(从 0 开始)。
    • leader:负责读写的主副本 Broker ID。
    • replicas:所有副本的 Broker ID 列表。
    • ISR:当前与 Leader 保持同步的副本集合(核心容错机制)。
  • Internal:标识是否为 Kafka 内部 Topic(如 __consumer_offsets)。

2 )方案2

// src/kafka/admin.service.ts 
import { Injectable } from '@nestjs/common';
import { Kafka, Admin, DescribeTopicsResponse } from 'kafkajs';
 
@Injectable()
export class KafkaAdminService {
  private admin: Admin;
 
  constructor() {
    const kafka = new Kafka({ brokers: ['localhost:9092'] });
    this.admin = kafka.admin();
  }
 
  async describeTopic(topicName: string): Promise<DescribeTopicsResponse> {
    await this.admin.connect();
    const result = await this.admin.describeTopics([topicName]);
    await this.admin.disconnect();
    
    // 结构化输出元数据 
    Object.entries(result).forEach(([topic, metadata]) => {
      console.log(`\nTopic名称: ${topic}`);
      console.log(`Internal标识: ${metadata.isInternal}`);
      metadata.partitions.forEach((partition, index) => {
        console.log(`\nPartition ${index}`);
        console.log(`  Leader: ${partition.leader}`);
        console.log(`  副本集: ${partition.replicas.join(',')}`);
        console.log(`  ISR同步副本: ${partition.isr.join(',')}`);
      });
    });
    return result;
  }
}

关键元数据说明:

  • Leader:负责处理读写请求的Broker节点
  • Replicas:分区所有副本所在的Broker列表
  • ISR(In-Sync Replicas):与Leader数据保持同步的副本集合
  • Internal:标识是否为Kafka内部Topic(如__consumer_offsets)

Topic 配置信息查看


使用 describeConfigs 可查看 Topic 的详细配置(如日志清理策略、消息保留时间、消息保留策略、压缩算法等)。返回的 ConfigResource 包含:

  • type:资源类型(如 TOPIC、BROKER)。
  • name:资源名称(即 Topic 名称)。
  • configEntries:配置项列表(键值对),例如:
    • cleanup.policy=delete(日志清理策略)
    • retention.ms=604800000(消息保留 7 天)
    • preallocate=true(是否预分配磁盘空间)

注意:

  • 配置分为 动态(运行时修改生效)与 静态(需重启生效),通过 isDefault 字段标识。
  • Kafka 监控工具(如 Prometheus JMX Exporter)依赖此 API 采集 Topic 状态。

NestJS 实现示例

async function describeConfig() {
  const kafka = new Kafka({ brokers: ['localhost:9092'] });
  const admin: Admin = kafka.admin();
  
  await admin.connect();
  const resources = [{
    type: 'topic' as const, // 资源类型必须明确指定 
    name: 'TOPICA'
  }];
  const result = await admin.describeConfigs({ resources });
  
  result.resources.forEach(resource => {
    console.log(`Resource: ${resource.name}`);
    resource.configEntries.forEach(entry => {
      console.log(`${entry.name} = ${entry.value} (Source: ${entry.source})`);
    });
  });
  
  await admin.disconnect();
}
describeConfig();

典型配置项说明

  • cleanup.policy:日志清理策略(delete 或 compact)。
  • retention.ms:消息保留时间(毫秒)。
  • min.insync.replicas:ISR 最小副本数(直接影响数据耐久性)。
  • compression.type:消息压缩算法(如 gzip, snappy)。

Topic 配置信息修改


支持动态更新配置,提供新旧两版 API 实现(兼容性与灵活性兼顾)。

通过 alterConfigs 可动态更新 Topic 配置(无需重启)。支持两种操作模式:

  1. 批量覆盖(旧版 API)
    直接替换整个配置映射表(Map<ConfigResource, Config>)。
  2. 增量更新(新版 API incrementalAlterConfigs)
    按操作类型(SET、DELETE、APPEND)修改指定配置项,更精确且避免误覆盖。

关键步骤:

  • 组织 ConfigResource 对象(指定资源类型与名称)。
  • 构建 AlterConfigOp 对象(定义操作类型与键值)。
  • 执行更新并校验结果(如检查 preallocate 从 false 改为 true)。

风险提示:

  • 错误修改(如误删 retention.ms)可能导致数据丢失,建议先备份配置。
  • 增量更新需 Kafka 2.3+ 版本支持,旧集群需谨慎兼容。

1 ) 方案 1:传统 alterConfigs(兼容旧版)

async function alterConfigOld() {
  const kafka = new Kafka({ brokers: ['localhost:9092'] });
  const admin: Admin = kafka.admin();
  const resources = [{
    type: 'topic',
    name: 'TOPICA',
    configEntries: [{ 
      name: 'preallocate', 
      value: 'true' // 启用预分配磁盘文件 
    }]
  }];
  
  await admin.connect();
  await admin.alterConfigs({ resources });
  await admin.disconnect();
}

传统全量覆盖模式

2 ) 方案 2:新版 incrementalAlterConfigs(推荐)

async incrementalAlterConfigs(
  topicName: string, 
  operations: { key: string; value: string; op: 'SET' | 'DELETE' }[]
): Promise<void> {
  const resource = {
    type: 'TOPIC' as const,
    name: topicName,
    configOperations: operations.map(op => ({
      configOperation: op.op, 
      configName: op.key,
      configValue: op.value 
    }))
  };
 
  await this.admin.connect();
  await this.admin.incrementalAlterConfigs({ resources: [resource] });
  await this.admin.disconnect();
}
 
// 调用示例:原子性更新多个参数 
await incrementalAlterConfigs('orders', [
  { key: 'retention.ms', value: '172800000', op: 'SET' },
  { key: 'max.message.bytes', value: '10485760', op: 'SET' }
]);

配置修改注意事项:

  1. 动态参数需Kafka服务端开启dynamic.broker.config.enable=true
  2. 敏感参数(如SSL证书路径)需重启Broker生效
  3. 使用incrementalAlterConfigs避免全量覆盖导致的配置丢失

Partition 扩容操作


Kafka 仅支持增加分区(不可减少),通过 createPartitions 实现。

使用 createPartitions 可扩展 Topic 的分区数量(分区仅能增加,不可减少):

  • 参数:Map<String, NewPartitions>,Key 为 Topic 名称,Value 为新的分区总数。
  • 影响:
    • 新分区自动分配副本(遵循 Broker 均衡策略)。
    • 生产者需更新分区路由策略(如 RoundRobinPartitioner)。

约束:

  • 分区增加后,需监控 消息顺序性:同一 Key 的消息可能路由到不同分区,破坏分区内顺序。
  • 若分区数超过 Broker 数量,需确保副本因子(replication.factor)≤ Broker 数,否则创建失败。

NestJS 实现示例

async function increasePartitions() {
  const kafka = new Kafka({ brokers: ['localhost:9092'] });
  const admin: Admin = kafka.admin();
  
  await admin.connect();
  await admin.createPartitions({
    topicPartitions: [{
      topic: 'TOPICA',
      count: 3 // 目标分区总数(原为 2)
    }]
  });
  
  // 验证扩容结果
  const { topics } = await admin.describeTopics(['TOPICA']);
  topics[0].partitions.forEach(p => 
    console.log(`Partition ${p.partitionId}: Leader=${p.leader}`)
  );
  
  await admin.disconnect();
}
increasePartitions();

扩容影响说明:

  • 生产者:新增分区触发Producer分区策略重计算(需重启Producer实例)
  • 消费者:Rebalance期间出现短暂消费暂停
  • 性能影响:单次扩容建议不超过现有分区50%

注意事项

  1. 分区扩容后,需手动调整 Producer 的分区策略以利用新分区。
  2. 避免频繁扩容:可能引发数据倾斜(新分区无历史数据)。

工程示例:1


1 ) 方案 1:基础配置(快速集成)

// app.module.ts
import { Module } from '@nestjs/common';
import { ClientsModule, Transport } from '@nestjs/microservices';
 
@Module({
  imports: [
    ClientsModule.register([{
      name: 'KAFKA_SERVICE',
      transport: Transport.KAFKA,
      options: {
        client: { brokers: ['localhost:9092'] },
        consumer: { groupId: 'nestjs-group' }
      }
    }])
  ]
})
export class AppModule {}

2 ) 方案 2:动态配置(环境适配)

// kafka.config.ts
import { KafkaOptions, Transport } from '@nestjs/microservices';
 
export const getKafkaConfig = (): KafkaOptions => ({
  transport: Transport.KAFKA,
  options: {
    client: { 
      brokers: process.env.KAFKA_BROKERS.split(',') 
    },
    consumer: { 
      groupId: process.env.KAFKA_GROUP_ID 
    },
    // 启用 SSL 加密
    ssl: { 
      rejectUnauthorized: true,
      ca: [fs.readFileSync('/path/to/ca.pem')]
    }
  }
});
 
// 在模块中动态注入
ClientsModule.registerAsync([{
  name: 'KAFKA_SERVICE',
  useFactory: getKafkaConfig
}]);

3 ) 方案 3:高级管控(AdminClient + 监控)

// kafka-admin.service.ts
import { Injectable, OnModuleInit } from '@nestjs/common';
import { Admin, Kafka } from 'kafkajs';
 
@Injectable()
export class KafkaAdminService implements OnModuleInit {
  private admin: Admin;
 
  onModuleInit() {
    const kafka = new Kafka({ 
      brokers: ['localhost:9092'],
      sasl: { // SASL 认证
        mechanism: 'scram-sha-256',
        username: 'admin',
        password: 'secret'
      }
    });
    this.admin = kafka.admin();
    this.admin.connect();
  }
 
  // Topic 监控方法
  async monitorTopics() {
    const topics = await this.admin.listTopics();
    const descriptions = await this.admin.describeTopics(topics);
    return descriptions.topics.map(topic => ({
      name: topic.name,
      partitionCount: topic.partitions.length,
      unstablePartitions: topic.partitions.filter(p => p.isr.length < 2).length
    }));
  }
 
  // 配置热更新
  async updateRetentionPolicy(topic: string, hours: number) {
    await this.admin.alterConfigs({
      resources: [{
        type: 'topic',
        name: topic,
        configEntries: [{ 
          name: 'retention.ms', 
          value: String(hours * 3600 * 1000) 
        }]
      }]
    });
  }
}

工程示例:2


环境配置(.env)

KAFKA_BROKERS=broker1:9092,broker2:9092 
TOPIC_CONFIG_OVERRIDE_ENABLED=true

服务封装层(kafka-admin.service.ts)

import { Injectable, OnModuleDestroy } from '@nestjs/common';
import { Kafka, Admin, ConfigResourceTypes } from 'kafkajs';
 
@Injectable()
export class KafkaAdminService implements OnModuleDestroy {
  private admin: Admin;
 
  constructor() {
    const kafka = new Kafka({
      brokers: process.env.KAFKA_BROKERS.split(','),
      ssl: { rejectUnauthorized: false }
    });
    this.admin = kafka.admin();
  }
 
  async onModuleDestroy() {
    await this.admin.disconnect();
  }
 
  // 整合前文所有方法(describeTopics/describeConfigs/alterConfigs/increasePartitions)
  // 新增统一错误处理
  private handleKafkaError(error: Error) {
    if (error.message.includes('NOT_CONTROLLER')) 
      console.error('Controller节点变更,需重试操作');
    throw new Error(`Kafka管理操作失败: ${error.stack}`);
  }
}

控制器层(admin.controller.ts)

import { Controller, Post, Body } from '@nestjs/common';
import { KafkaAdminService } from './kafka-admin.service';
 
@Controller('kafka-admin')
export class AdminController {
  constructor(private readonly adminService: KafkaAdminService) {}
 
  @Post('topics/metadata')
  async getTopicMetadata(@Body('topic') topic: string) {
    return this.adminService.describeTopic(topic);
  }
 
  @Post('topics/partitions')
  async scalePartitions(
    @Body('topic') topic: string,
    @Body('newCount') newCount: number
  ) {
    return this.adminService.increasePartitions(topic, newCount);
  }
}

工程示例:3


以下提供 3 种方案 实现 Topic 操作(使用 kafkajs 库):

1 ) 方案 1:基础 AdminClient 初始化

import { Injectable } from '@nestjs/common';
import { Kafka, Admin, ConfigResourceTypes } from 'kafkajs';
 
@Injectable()
export class KafkaAdminService {
  private admin: Admin;
 
  constructor() {
    const kafka = new Kafka({
      brokers: ['localhost:9092'],
      clientId: 'nestjs-admin-client',
    });
    this.admin = kafka.admin();
  }
 
  async connect() {
    await this.admin.connect();
  }
 
  async disconnect() {
    await this.admin.disconnect();
  }
}

2 ) 方案 2:Topic 查询与配置管理

import { Kafka, Admin, DescribeTopicsResponse } from 'kafkajs';
 
export class KafkaAdminService {
  // ...初始化代码同方案1 
 
  // 1. 查询Topic详情
  async describeTopic(topicName: string): Promise<DescribeTopicsResponse> {
    const result = await this.admin.describeTopics({
      topics: [topicName],
      includeAuthorizedOperations: false, // 是否包含ACL操作权限 
    });
    return result.topics[0];
  }
 
  // 2. 查询配置 
  async describeConfig(topicName: string) {
    const resources = [
      {
        type: ConfigResourceTypes.TOPIC,
        name: topicName,
      },
    ];
    return this.admin.describeConfigs({ resources });
  }
 
  // 3. 修改配置 (增量更新)
  async alterConfig(topicName: string, key: string, value: string) {
    await this.admin.alterConfigs({
      validateOnly: false, // 是否仅验证不执行 
      resources: [
        {
          type: ConfigResourceTypes.TOPIC,
          name: topicName,
          configEntries: [{ name: key, value }],
        },
      ],
    });
  }
}

3 ) 方案 3:分区扩展与生产级优化

import { PartitionMetadata } from 'kafkajs';
 
export class KafkaAdminService {
  // ...初始化代码同方案1 
 
  // 增加分区数量 
  async increasePartitions(topicName: string, newPartitionCount: number) {
    await this.admin.createPartitions({
      topicPartitions: [
        {
          topic: topicName,
          count: newPartitionCount, // 目标分区总数
          // 可选:自定义分区分配策略(默认自动分配)
          assignPartitions: (current: PartitionMetadata[]) => {
            return [...Array(newPartitionCount).keys()].map((i) => ({
              partitionId: i,
              replicas: [0], // 指定副本分配的Broker ID
            }));
          },
        },
      ],
    });
  }
 
  // 生产级优化:操作前校验 + 事务日志 
  async safeIncreasePartitions(topicName: string, newCount: number) {
    const current = await this.describeTopic(topicName);
    if (current.partitions.length >= newCount) {
      throw new Error('新分区数必须大于当前值');
    }
    try {
      await this.increasePartitions(topicName, newCount);
      console.log(`分区扩展成功: ${topicName} -> ${newCount} partitions`);
    } catch (err) {
      console.error(`分区扩展失败: ${err.message}`);
      // 回滚操作:可记录事务日志或触发告警 
    }
  }
}

周边配置处理


1 ) 安全加固:

  • SASL 认证(SCRAM-SHA-256)
  • SSL/TLS 加密传输

2 ) ACL 安全控制

resources: [{
 type: ConfigResourceTypes.TOPIC,
 name: 'sensitive-topic',
 configEntries: [{ name: 'cleanup.policy', value: 'compact' }],
 // 附加 ACL 权限校验 
 validateOnly: true,
}]

3 ) 监控指标

  • 使用 describeTopics 跟踪 ISR 健康度
  • 通过 describeConfigs 审计配置合规性
  • 监控集成
    • 通过 describeTopics 采集分区水位(LogEndOffset)。
    • 通过 describeConfigs 监控 underReplicatedPartitions(副本不足告警)。

4 )异常处理

try {
  await admin.createPartitions({ ... });
} catch (err) {
  if (err.type === 'INVALID_PARTITIONS') {
    throw new Error('分区数必须大于当前值');
  }
}

5 ) 连接池优化

const kafka = new Kafka({
 brokers: ['kafka1:9092', 'kafka2:9092'],
 connectionTimeout: 3000, // 连接超时(毫秒)
 retry: { retries: 3 }, // 操作重试策略
});

生产环境最佳实践


1 ) 连接池管理

// 在服务初始化时建立长连接
async onModuleInit() {
  await this.admin.connect(); 
  console.log('KafkaAdmin连接池就绪');
}

2 ) 集群容错处理

// 重试策略配置
const kafka = new Kafka({
  brokers: [...],
  retry: {
    retries: 3,
    factor: 0.5,
    multiplier: 2 
  }
});

3 ) 安全认证集成

// SASL/SCRAM认证示例 
const kafka = new Kafka({
  brokers: [...],
  sasl: {
    mechanism: 'scram-sha-256',
    username: process.env.KAFKA_USER,
    password: process.env.KAFKA_PASS 
  }
});

关键概念解析(初学者友好)


  • ISR(In-Sync Replicas):与 Leader 副本保持同步的 Follower 副本集合。若 ISR 副本数不足,Producer 将收到 NotEnoughReplicas 错误。
  • 副本因子(Replication Factor):每个分区的副本总数,建议 ≥3 确保高可用。
  • 预分配(preallocate):提前分配磁盘文件,减少写入延迟,但增加存储开销。
  • 增量配置(incrementalAlterConfigs):Kafka 2.3+ 特性,支持部分更新配置,避免全量覆盖。

运维提示:Topic 配置修改后,需通过 describeConfigs 验证 source 字段是否为 DYNAMIC_TOPIC_CONFIG,表示动态更新生效(非默认值)

监控与调试工具链


1 ) Kafka命令行工具

# 查看Topic元数据
kafka-topics.sh --describe --topic orders --bootstrap-server broker:9092 
 
# 动态更新配置
kafka-configs.sh --alter --topic orders --add-config retention.ms=172800000 
 
# 分区扩容
kafka-topics.sh --alter --topic orders --partitions 6

2 ) NestJS健康检查端点

// health.controller.ts
import { Controller, Get } from '@nestjs/common';
import { HealthCheckService, HealthCheck } from '@nestjs/terminus';
import { KafkaHealthIndicator } from './kafka.health';
 
@Controller('health')
export class HealthController {
  constructor(
    private health: HealthCheckService,
    private kafka: KafkaHealthIndicator 
  ) {}
 
  @Get()
  @HealthCheck()
  check() {
    return this.health.check([() => this.kafka.isHealthy()]);
  }
}

3 ) 可视化监控方案

  • Prometheus + Grafana:通过JMX Exporter采集Broker指标
  • EFK:聚合Kafka日志(Elasticsearch+Fluentd+Kibana)
  • Conduktor:专业Kafka运维管理平台

核心概念深度解析


副本机制(Replication)

副本类型数据一致性可用性保证
Leader强一致性处理所有读写请求
Follower最终一致性异步复制Leader数据
ISR准实时同步可选举为Leader

分区扩容策略


  1. 数据重分布原则
    新分区创建后,现有数据不会自动迁移,仅影响新写入消息
  2. Key-Based分区影响
    // 生产者分区策略示例
    const producer = kafka.producer({
      createPartitioner: Partitioners.DefaultPartitioner // 基于Key哈希 
    });
    
    • 扩容后相同Key的消息可能路由到不同分区
  3. 消费者组Rebalance流程
    Consumer检测分区变化
    向Coordinator发送JoinGroup
    选举Leader Consumer
    Leader分配分区方案
    所有Consumer同步新分配

总结


本文详解 Kafka AdminClient 核心操作:

  1. 信息查询:describeTopics 获取分区/副本状态,describeConfigs 读取动态配置。
  2. 配置管理:alterConfigs 支持动态更新,优先选用增量 API。
  3. 分区扩展:createPartitions 仅支持扩容,需评估生产消息顺序性影响。
  4. 工程实践:
    • 使用 NestJS + kafkajs 替代 Spring Boot 生态。
    • 操作前校验资源状态,避免无效变更。
    • 集成监控与事务日志,保障操作可追溯。

初学者提示:

  • 副本因子(Replication Factor):每个分区的数据副本数,影响数据可靠性。
  • ISR(In-Sync Replicas):与 Leader 数据同步的副本集合,是故障切换的依据。
  • 动态配置:Kafka 允许运行时调整部分参数(如 retention.ms),无需重启集群。
Kafka 之 AdminClient 配置 一般情况下,我们都习惯使用 kafka-topics.sh 脚本来管理主题,但有些时候我们希望将主题管理类的功能集成到公司内部的系统中,打造集管理、监控、运维、告警为一体的生态平台,那么就需要以程序调用 API 的方式去实现。Kafka 社区于 0.11 版本正式推出了 Java 客户端版的 AdminClient,并不断地在后续的版本中对它进行完善。本文主要介绍 KafkaAdminClient 的配置项,以及各配置项的具体含义。 阅读详情

相关推荐

ad新版本学习笔记(基本包含一套流程)Altium Designer(ad20/ad21/ad22/ad23)

ad20-ad23学习笔记,逐渐补全

安和的博客 4万+

20_初识KafkaAdminClient

1基本使用 一般情况下,我们都习惯使用 kafka-topics.bat 脚本来管理主题,但有些时候我们希望将主题管理类的功能集成到公司内部的系统中,打造集管理、监控、运维、告警为一体的生态平台,那么就需要以程序调用 API 的方式去实现。本节主要介绍 KafkaAdminClient 的基本使用方式,以及采用这种调用 API 方式下的创建主题时的合法性验证。 使用 TopicCommand 创建了一个主题: public static void createTopic(){ String[] op

一个搬砖工人 2803

(详细教程)opencv+pycharm+笔记本摄像头 做一个人脸识别

文章目录 前言 一、pandas是什么? 二、使用步骤 1.引入库 2.读入数据 总结 一、安装opencv-python 这里推荐使用pycharm直接安装opencv-python 打开文件——设置——python解释器——点击+号 搜索opencv-python,点击安装包,等待片刻即可安装好 检查是否安装好,新建一个项目输入以下代码,若无报错则安装好 import cv2 二、准备分类器 咱们使用opencv官方提供的分类器,包括面部识别,侧...

qq_52852432的博客 1万+

Kafka:KafkaAdminClient应用

Kafka:KafkaAdminClient应用

程序员无羡的博客 1522

Pytest 常见问题及其解决方案

Pytest 是一个强大且灵活的测试框架,但初学者在使用过程中难免会遇到各种问题。希望通过这篇文章,你能更好地应对常见的挑战,写出更高效、更稳定的测试代码。测试不是负担,而是保障。写好测试不仅能提高代码质量,还能让你在面对变更时更加从容自信。

qq_52137592的博客 902

微信终于支持“多设备同时在线”?我用 NAS + Docker 搭了一个云端微信系统,多端共享24小时在线

通过Docker 容器,将微信运行在云端并通过浏览器访问,实现多设备共享同一微信会话 📱。本文详细介绍完整部署流程、docker-compose 配置及资源控制方案,让微信变成“可访问的云桌面应用” ✨

XiaoqiangClub的博客 884

Kafka工具类-AdminClientAPI工具类

1.Kafka客户端操作 AdminClientAPI:允许管理和检测Topic,broker以及其他kafka对象 ProducerAPI:发布消息到1个或者多个topic ConsumerAPI:订阅一个或者多个topic,并处理产生的消息 上述三类API为我们生产中主要使用的API ...

weixin_45154559的博客 785

Android15车载系统开机冷启动流程源码解析

本文主要介绍Android15车机系统开机冷启动的流程,暂不包含bootloader,仅从kernel开始直至Launcher首页展示。

jidapenglin28的专栏 257

kafka客户端操作之Admin API

Kafka API简单介绍 kafka除了用于管理和管理任务的命令行工具,Kafka还有5个用于Java和Scala的核心API 他们分别是 The Admin API : 用于管理和inspect topics, brokers和其他 Kafka 对象 The Producer API: 将事件流发布(写入)到一个或多个 Kafka topics The Consumer API: 订阅(读取)一个或多个topics并处理它们生成的事件流 The Kafka Streams API: 用于实现流处理应用

小灰狼与大白兔的博客 7468

S速度曲线轨迹规划(普通变频位置闭环控制算法详细介绍+SCL代码)

位置控制用PD控制器,详细内容介绍请查看下面博客文章:PD控制器算法详细解读_RXXW_Dor的博客-优快云博客鉴于积分和微分在工程上的大量应用,这篇博文主要讲解工程上的如何求导f'(x),导数反映的是函数(信号)的变化率,牛顿也是在研究运动的时候提出了微积分的概念,我们知道反映位移变化的快慢程度是速度v(t),反映速度变化快慢程度的物理量是加速度(速度的变化率)。

RXXW_Dor的博客 3891

C++ 小游戏程序 (共七款)

C++编程小游戏_闪耀的天狼星的博客-优快云博客_游戏c++C++跑酷小游戏_闪耀的天狼星的博客-优快云博客。好玩的c++编程小游戏,共六款。代码】C++跑酷小游戏。

小天狼星_布莱克 的博客 3万+

通过Adminclient获得__consumer_offsets数据信息

Kafka 的 AdminClient API 可以用于获取 __consumer_offsets 主题中存储的消费组位移信息。这会读取 group 消费组在 topicPartition 主题分区中的消费位移,并返回在 OffsetFetchResponse 中。这会向 Kafka 服务请求获取 __consumer_offsets 主题信息,并返回一个 TopicDescription 对象。这会返回一个 Map,键为分区ID,值为对应 PartitionInfo 对象。4. 从每个分区读取位移信息。

小太阳DENGJIE的博客 641

Tessent ATPG Flow 流程 (代码和注释)

**摘要:Tessent ATPG流程分为五个阶段:1) 环境初始化(加载设计文件、库和扫描链配置);2) DRC规则检查(验证设计可测试性并修复违例);3) ATPG向量生成(设置故障模型并运行引擎优化覆盖率);4) 向量验证与后处理(仿真验证并生成ATE格式文件);5) 进阶操作(多电压域和存储器测试)。流程输出包括测试向量、覆盖率报告和验证日志,支持stuck-at和transition故障模型,使用Tcl脚本控制。关键步骤包含扫描链配置、EDT压缩和覆盖率优化。

QQ_778132974的博客 935

kafka之五 kafkaAdmin API

 一:kafka官文API中只提供了消费者和生产者的API,但对于创建TOPIC的API没有介绍。项目中需要整合kafka的admin功能时候,就没有参考的方法。通过浏览kafka的源码,你会发现其中的创建topic的代码逻辑;下面就是笔者总结获取的;二 :创建topic javaAPI实现    [java] view plain copypublic class KafkaTopicBean ...

GoodIdea 5593

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

Kafka API AdminClient基本使用

目前 Kafka 提供了一个新的 API 工具 AdminClient。通过SpringBoot集成AdminClient可以进行kafka的管理。实现了查询、新建、删除topic、调整partition、获取lag、配置信息等常用功能。通过这些功能可以为业务人员构建一个简单的kafka管理界面。 pom <dependency> <groupId>org.springframework.kafka</groupId> <artifactId&

余金兑人的技术角落 4744

华为的C语言编程规范.pdf

华为技术有限公司内部技术规范。本规范制定了编写C语言程序的基本原则、规则和建议。从代码的清晰、简洁、可测试、安全、程序效率、可移植各个方面对C语言编程作出了具体指导。

Kafka——AdminClient API详解

在创建Topic时我们需要设定Partition的数量,但如果觉得初始设置的Partition数量太少了,那么就可以使用createPartitions方法来调整Topic的Partition数量,但是需要注意在Kafka中Partition只能增加不能减少。自0.ll.0.0版本起,Kafka社区推出了AdminClient和KafkaAdminClient,意在统一所有的集群管理API。一个Topic会有自身的描述信息,例如:partition的数量,副本集的数量,是否为internal等等。

吴声子夜歌的博客 2778

【Kafka源码走读】Admin接口的客户端与服务端的连接流程

本文主要介绍kafka的Admin.create()方法执行的背后是如何实现客户端与服务器之间的连接的

IT布道 1295

Kafka 基础教程 — AdminClient API详解

作者简介:大家好,我是码炫码哥,前中兴通讯、美团架构师,现任某互联网公司CTO,兼职码炫课堂主讲源码系列专题代表作:《jdk源码&多线程&高并发》,《深入tomcat源码解析》,《深入netty源码解析》,《深入dubbo源码解析》,《深入springboot源码解析》,《深入spring源码解析》,《深入redis源码解析》等联系qq:184480602,加我进群,大家一起学习,一起进步,一起对抗互联网寒冬。

smart_an的专栏 1221

KafkaAdminClient详解:原理、示例与最佳实践

本文全面介绍了KafkaAdminClient的核心功能与使用实践。作为Kafka官方提供的Java管理工具,KafkaAdminClient支持通过API操作Kafka集群,包括主题管理、配置管理、消费者组管理等核心功能。文章详细阐述了其双线程架构、异步处理机制等设计原理,并提供了丰富的Java代码示例,涵盖主题创建、分区扩容、配置修改等常见场景。同时介绍了与SpringBoot的集成方案,包括主题自动初始化、管理端点暴露等生产级实践。针对大规模集群环境,文章还提出了性能调优、安全认证、异常处理等高级特性

油墨香^-^的博客 964

Springboot 集成KafkaAdmin

springboot集成kafka

qq_37201836的博客 1105

KafkaAdminClient

KafkaAdminClient 诞生原因 : - 命令行运维监控困难 - 很多命令行脚本会连接 ZK (会跳过 Kafka 权限检查) - 统一服务端/客户端的运维机制

记录点点滴滴 1091

Kafka入门记录(2)

继续AdminClient的API使用记录 查看TOPIC的信息 public static void describeTopics() throws ExecutionException, InterruptedException { AdminClient adminClient = adminClient(); DescribeTopicsResult describeTopicsResult = adminClient.describeTopics(Ar

Mono的博客 286

KafkaAdminClient 技术详解:Python 操作 Kafka 集群的管理接口

KafkaAdminClient 作为 Python 生态中 Kafka 集群管理的核心接口,提供了从主题创建到权限控制的全流程能力。分层封装:基于 AdminClient 封装业务层管理类,屏蔽原始协议细节操作审计:记录关键管理操作(如主题创建 / 删除)的上下文信息权限控制:生产环境中限制 AdminClient 的使用范围,避免误操作版本兼容:在多版本集群环境中,通过参数显式指定兼容版本。

佑瞻的博客 1340

Kafka的运维利器-AdminClient

点击上方蓝色字体,选择“设为星标”回复”面试“获取更多惊喜前言一般情况下,我们都习惯使用kafka-topics.sh脚本来管理主题,但有些时候我们希望将主题管理类的功能集成到公司内部的系...

微信搜:import_bigdata,大数据领域硬核原创作者 1623

kafka笔记(二)Admin Client API

kafka笔记(二)

qq_41163645的博客 1252
上一篇: Kafka: Admin 客户端操作指南之主题管理与集群监控
下一篇: Kafka: 生产者(Producer)核心机制
Wang's Blog
博客等级 码龄12年 7440粉丝 2427原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Wang's Blog

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值