读书笔记-kafka常用操作命令-kafka-topics.sh

1. 创建topic

bin/kafka-topics.sh --zookeeper localhost:2181/kafka --create --topic topic-create --partitions 4 --replication-factor 2

返回结果:Created topic "topic-create".

参数解析

--zookeeper 指定kafka所连接的zookeeper服务地址

--topic 指定所要创建主题的名称

--replicator-factor 指定了副本因子(即副本数量)

--partitions 指定分区个数

--create 是创建主题的的动作指令

2. 展示主题的更多具体信息

bin/kafka-topics.sh --zookeeper localhost:2181/kafka --describe --topic topic-create

输出结果:

Topic:topic-create    PartitionCount:4    ReplicationFactor:2    Configs:
    Topic: topic-create    Partition: 0    Leader: 1064    Replicas: 1064,1063    Isr: 1064,1063
    Topic: topic-create    Partition: 1    Leader: 1063    Replicas: 1063,1064    Isr: 1063,1064
    Topic: topic-create    Partition: 2    Leader: 1064    Replicas: 1064,1063    Isr: 1064,1063
    Topic: topic-create    Partition: 3    Leader: 1063    Replicas: 1063,1064    Isr: 1063,1064

结果解释:
Topic:topic名字, PartitionCount:分区个数,ReplicationFactor:副本因子,Configs: 表示创建或修改主题时指定的参数配置;

Topic和Partition分表表示主题名称和分区号。Leader表示分区的Leader副本所对应的brokerID,Isr表示分区的ISR集合,Replicas表示分区的所有的副本分配情况,即AR集合,其中的数字都表示的是brokerID。

备注: kafka-topics.sh命令还有一些其他的参数,比如:

        create topic时,--replica-assigment参数,来手动指定分区副本的分配方案。if-not-exists参数,在发生命名冲突时候,就不做任何处理(即不创建主题,也不报错),如果没发生命名冲突,就正常创建,如果不带这个参数,如果有命名冲突就会报TopicExistsException的异常信息。

        describe topic时,

        --under-repicated-partitions参数可以找出所有包含失效副本的分区。

        --unavailable-partitions 可以查看主题中没有leader副本的分区,这些分区已经处于离线状态,对于外界的生产者和消费者来说处于不可用状态。

        --topics-with-overrides 可以找出所有包含覆盖配置的主题,它只会列出包含了与集群不一样配置的主题,使用此参数只显示原本只有describe指令的第一行信息。

3. 查看主题

bin/kafka-topics.sh --zookeeper localhost:2181/kafka --list

4. 修改主题        

bin/kafka-topics.sh --zookeeper localhost:2181/kafka --alter --topic topic-create --partitions 5

修改topic名为 topic-create 的分区数,由4变成5

修改前

Topic:topic-create    PartitionCount:4    ReplicationFactor:2    Configs:
    Topic: topic-create    Partition: 0    Leader: 1064    Replicas: 1064,1063    Isr: 1064,1063
    Topic: topic-create    Partition: 1    Leader: 1063    Replicas: 1063,1064    Isr: 1063,1064
    Topic: topic-create    Partition: 2    Leader: 1064    Replicas: 1064,1063    Isr: 1064,1063
    Topic: topic-create    Partition: 3    Leader: 1063    Replicas: 1063,1064    Isr: 1063,1064

修改后

Topic:topic-create    PartitionCount:5    ReplicationFactor:2    Configs:
    Topic: topic-create    Partition: 0    Leader: 1064    Replicas: 1064,1063    Isr: 1064,1063
    Topic: topic-create    Partition: 1    Leader: 1063    Replicas: 1063,1064    Isr: 1063,1064
    Topic: topic-create    Partition: 2    Leader: 1064    Replicas: 1064,1063    Isr: 1064,1063
    Topic: topic-create    Partition: 3    Leader: 1063    Replicas: 1063,1064    Isr: 1063,1064
    Topic: topic-create    Partition: 4    Leader: 1064    Replicas: 1064,1063    Isr: 1064,1063

备注:目前kafka只支持增加分区数而不支持减少分区数,如果减少的话。会报出InvalidPartitionsException的异常。

修改主题时,可以配置if-extists参数来忽略异常。如果不指定该参数,修改一个不存在的分区,会报出错误信息“Topic topic-name does not exsit”

在创建完主题之后,我们还可以通过alter指令配合config参数增加或修改一些配置以覆盖他们配置原有的值。比如将主题topic-config的max.message.bytes配置值从10000修改为2000。

# 修改前查看
bin/kafka-topics.sh --zookeeper localhost:2181/kafka --describe --topic topic-config 
# 修改
bin/kafka-topics.sh --zookeeper localhost:2181/kafka --alter --topic topic-config --config max.message.bytes=2000
# 修改后查看
bin/kafka-topics.sh --zookeeper localhost:2181/kafka --describe --topic topic-config 

删除之前的配置

bin/kafka-topics.sh --zookeeper localhost:2181/kafka --alter --topic topic-config --delete-config segment.bytes

在变更(增删改)配置的操作执行之后都会提示一段告警信息,指明了使用kafka-topic.sh脚本的alter指令会变更主题配置的功能已经过时(deprecated),将在未来的版本中删除,并且使用kafka-config.sh脚本来实现相关功能。

5. 删除主题

bin/kafka-topics.sh --zookeeper localhost:2181/kafka --delete --topic topic-create

Topic topic-create is marked for deletion.
Note: This will have no impact if delete.topic.enable is not set to true.

备注: 如果要删除的主题是kafka内部主题,那么删除是就会报错。如__consumer_offsets 和__transaction_state

尝试删除一个不存在的主题也会报错。可以加上if-exists来规避。

使用kafka-topics.sh脚本删除主题的行为本质上只是在zookeeper中的/admin/delete_topics路径下创建一个与待删除主题同名的节点,以此标记该主题为待删除的状态。与创建主题相同的是,真正删除主题的动作也是有kafka的控制器负责完成的。

删除主题是不可逆的操作。一旦删除之后,与其相关的所有消息数据会被全部删除。所以在执行这一操作的时候也要三思而后行。

kafka-topics.sh脚本中的参数
参数名称释义
alter用于修改主题,包括分区数及主题的配置
config <键值对>创建或修改主题时,用于设置主题级别的参数
create创建主题
delete删除主题
delete-config <配置名称>删除主题级别被覆盖的配置
describe查看主题的详细信息
disable-rack-aware创建主题时不考虑机架信息
help打印帮助信息
if-exists修改或删除主题时使用,只有当主题存在时才会执行操作
if-not-exists创建主题时使用,只有主题不存在时才会执行动作
list列出所有可用的主题
partitions <分区数>创建主题或增加分区时指定分区数
replica-assignment <分配方案>手工指定分区副本分配方案
replication-factor <副本数>创建主题时指定副本因子
topic <主题名称>指定主题名称
topics-with-overrides使用describe查看主题信息时,只展示包含覆盖配置的主题
unavailable-partitions使用describe查看主题信息时,只展示包含没有leader副本的分区
under-replicated-partitions使用describe查看主题信息时,只展示包含失效副本的分区
zookeeper指定连接的zookeeper地址信息(必填项)

<think>好的,我现在遇到了一个问题,就是在使用Kafka的时候输入kafka-topics.sh命令时提示找不到。我需要解决这个问题,但不太确定具体的原因。首先,我应该回忆一下Kafka的基本安装和配置步骤,可能哪里出错了。 首先,kafka-topics.shKafka自带的一个脚本,用来管理主题。如果系统提示找不到这个命令,可能的原因有几个。最常见的是Kafka没有正确安装,或者安装路径没有添加到系统的环境变量中。也就是说,系统无法在默认的路径下找到这个脚本文件。 那用户可能在哪里安装了Kafka呢?通常,Kafka会被安装在某个目录下,比如/opt/kafka或者用户自定义的路径。如果用户自己解压了Kafka的压缩包,但没把bin目录添加到PATH环境变量里,就会导致命令无法识别。这时候,用户可能需要手动进入Kafka的安装目录下的bin文件夹,或者将路径添加到bashrc或profile文件中。 另外,检查一下用户是否真的下载并安装了Kafka。有时候可能下载了错误的版本,或者安装过程中出现了问题,导致某些文件缺失。比如,引用中的kafka-console-producer.shkafka-console-consumer.sh都是Kafka的脚本,如果这些也存在问题,可能整个安装都有问题。但用户的问题仅限于kafka-topics.sh,所以可能路径问题更可能。 接下来,用户可能使用了Docker或者其他容器化技术来部署Kafka。例如,引用[2]中提到在Docker容器中使用kafka作为服务名来连接。如果用户是在容器内运行命令,可能需要确认是否进入了正确的容器,或者在容器中是否正确安装了Kafka。有时候,容器内的路径可能与宿主机不同,或者启动容器时没有挂载相应的目录。 还有可能,用户在使用kafka-topics.sh的时候没有赋予执行权限。比如引用[3]中的kafka-reassign-partitions.sh有执行权限,而用户的问题脚本可能权限不足。这时候需要用chmod +x来添加执行权限。 那么,解决步骤可能包括: 1. 确认Kafka是否正确安装,找到安装路径。 2. 检查PATH环境变量是否包含Kafka的bin目录。 3. 如果使用Docker,确认是否在容器内执行命令,或者是否正确进入容器。 4. 检查脚本文件是否存在,是否有执行权限。 5. 尝试使用绝对路径运行脚本,比如/path/to/kafka/bin/kafka-topics.sh。 例如,用户可能需要进入Kafka的安装目录下的bin目录,然后执行./kafka-topics.sh,或者将路径添加到环境变量。另外,如果是通过包管理器安装的,可能需要确认包是否完整。 另外,参考引用中的信息,比如在Docker中使用时可能需要使用完整的路径,或者在容器中已经配置好的路径,所以用户可能需要根据他们的部署方式来调整命令。比如,在容器内部可能已经设置了PATH,但用户可能没有正确进入容器或者使用docker exec来执行命令。 总结可能的原因和对应的解决方案后,应该分步骤指导用户检查安装路径、环境变量、执行权限以及容器环境等因素,确保他们能够找到并正确执行kafka-topics.sh脚本。</think>要解决`kafka-topics.sh`命令未找到的问题,请按照以下步骤排查: --- ### **步骤1:确认Kafka安装路径** Kafka脚本文件默认位于安装目录的`bin`子目录下。 - 若手动安装Kafka,默认路径可能是:`/opt/kafka_2.13-3.3.1/bin/`(版本号可能不同)[^3] - 若通过包管理器安装,尝试使用命令查找路径: ```bash find / -name "kafka-topics.sh" 2>/dev/null ``` --- ### **步骤2:检查环境变量配置** 若脚本存在但无法直接调用,需将Kafka的`bin`目录加入`PATH`环境变量: 1. 打开配置文件(如`~/.bashrc`或`~/.bash_profile`) 2. 添加以下内容(替换为实际路径): ```bash export PATH="$PATH:/path/to/kafka/bin" ``` 3. 使配置生效: ```bash source ~/.bashrc ``` --- ### **步骤3:验证执行权限** 确保脚本有可执行权限: ```bash chmod +x /path/to/kafka/bin/kafka-topics.sh ``` --- ### **步骤4:容器化部署检查** 若通过Docker运行Kafka(如引用[2]中的配置): 1. 进入容器执行命令: ```bash docker exec -it kafka /bin/bash ``` 2. 在容器内调用脚本(注意容器内路径可能与宿主机不同): ```bash /opt/bitnami/kafka/bin/kafka-topics.sh --list --bootstrap-server localhost:9092 ``` --- ### **步骤5:使用绝对路径测试** 直接通过绝对路径调用脚本: ```bash /path/to/kafka/bin/kafka-topics.sh --create --topic test --bootstrap-server localhost:9092 ``` --- ### **常见问题总结** | 原因 | 解决方案 | |---------------------|--------------------------------------| | 未配置环境变量 | 将`bin`目录加入`PATH`或使用绝对路径 | | 脚本权限不足 | 执行`chmod +x kafka-topics.sh` | | Docker容器未正确进入 | 通过`docker exec`进入容器再执行命令 | ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值