Kafka常用命令整理

最新推荐文章于 2025-05-09 16:55:57 发布
最新推荐文章于 2025-05-09 16:55:57 发布
阅读量740 收藏 1
点赞数
CC 4.0 BY-SA版权
文章标签： Kafka
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/CRISPY_RICE/article/details/79354185

kinit 环境登录

kinit -kt /etc/security/keytabs/kafka.service.keytab kafka/hzadg-mammut-platform2.server.163.org@BDMS.163.COM;

基本操作

./bin/kafka-console-producer.sh --broker-list 10.201.168.136:6667  --topic test1 --producer.config config/producer.properties --producer-property security.protocol=SASL_PLAINTEXT

bin/kafka-console-consumer.sh --bootstrap-server hzadg-mammut-platform2.server.163.org:6667 --topic test1 --from-beginning --consumer.config=config/consumer.properties --new-consumer --property security.protocol=SASL_PLAINTEXT

kafka在zk中使用的znode:

[zk: hzadg-mammut-platform2.server.163.org:2181(CONNECTED) 13] ls /
[hbase-secure, zk-test, zookeeper]
[zk: hzadg-mammut-platform2.server.163.org:2181(CONNECTED) 14] ls /
[hbase-secure, zk-test, isr_change_notification, kafka-acl, admin, zookeeper, kafka-acl-changes, consumers, config, controller, brokers, controller_epoch]

producer

sudo su kafka -l -c 'sh /usr/ndp/current/kafka-broker/config/kafka-env.sh && /usr/ndp/current/kafka-broker/bin/kafka-console-producer.sh --broker-list hzadg-mammut-platform2.server.163.org:6667  --topic test1 --producer.config /usr/ndp/current/kafka-broker/config/producer.properties --producer-property security.protocol=SASL_PLAINTEXT'


./bin/kafka-console-producer.sh --broker-list hzadg-mammut-platform2.server.163.org:6667  --topic test --producer.config config/producer.properties --producer-property security.protocol=SASL_PLAINTEXT

./bin/kafka-console-producer.sh --broker-list localhost:6667 --topic ATLAS_ENTITIES


 --security-protocol PLAINTEXTSASL


./bin/kafka-console-producer.sh --broker-list 127.0.0.1:6667  --producer.config config/producer.properties --producer-property security.protocol=SASL_PLAINTEXT --topic test2

 ./bin/kafka-console-producer.sh --broker-list hzadg-mammut-platform2.server.163.org:6667  --producer.config config/producer.properties --producer-property security.protocol=SASL_PLAINTEXT --topic test2

consumer

bin/kafka-console-consumer.sh --zookeeper hzadg-mammut-platform2.server.163.org:2181  --from-beginning --consumer.config=config/consumer.properties --property  security.protocol=SASL_PLAINTEXT  --topic test3
bin/kafka-console-consumer.sh  --from-beginning --consumer.config=config/consumer.properties --new-consumer --bootstrap-server=hzadg-mammut-platform2.server.163.org:6667  --property  security.protocol=SASL_PLAINTEXT --topic test3

bin/kafka-console-consumer.sh  --from-beginning --consumer.config config/consumer.properties --new-consumer --bootstrap-server hzadg-mammut-platform2.server.163.org:6667  --property  security.protocol=SASL_PLAINTEXT --zookeeper hzadg-mammut-platform2.server.163.org:2181  --topic test3

 ./bin/kafka-console-producer.sh --broker-list hzadg-mammut-platform2.server.163.org:6667  --producer.config config/producer.properties --producer-property security.protocol=SASL_PLAINTEXT --topic test3

hzadg-mammut-platform2.server.163.org:2181,hzadg-mammut-platform3.server.163.org:2181,hzadg-mammut-platform4.server.163.org:2181

bin/kafka-console-consumer.sh  --from-beginning --consumer.config=config/consumer.properties --new-consumer --bootstrap-server=hzadg-mammut-platform2.server.163.org:6667 --property  security.protocol=SASL_PLAINTEXT --topic test3

# bin/kafka-console-consumer.sh  --from-beginning --consumer.config=config/consumer.properties --new-consumer --bootstrap-server=hzadg-mammut-platform2.server.163.org:6667,hzadg-mammut-platform2.server.163.org:6668,hzadg-mammut-platform2.server.163.org:6669  --topic test2

创建topic

 ./bin/kafka-topics.sh --zookeeper hzadg-mammut-platform2.server.163.org:2181   --topic ATLAS_ENTITIES  --create --partitions 1 --replication-factor  1
  ./bin/kafka-topics.sh --zookeeper hzadg-mammut-platform2.server.163.org:2181   --topic test8  --create --partitions 1 --replication-factor  1

list topic

bin/kafka-topics.sh –zookeeper hzadg-mammut-platform2.server.163.org:2181 –list

topic状态

./bin/kafka-topics.sh –describe –zookeeper hzadg-mammut-platform2.server.163.org:2181 –topic test6

删除topic

bin/kafka-topics.sh –zookeeper hzadg-mammut-platform2.server.163.org:2181 –delete –topic ATLAS_HOOK

授权list

bin/kafka-acls.sh --authorizer-properties zookeeper.connect=hzadg-mammut-platform2.server.163.org:2181 --group atlas --list --topic ATLAS_HOOK

./bin/kafka-acls.sh  --authorizer-properties zookeeper.connect=hzadg-mammut-platform2.server.163.org:2181  --add  --topic test8  --allow-principal User:* --producer

./bin/kafka-acls.sh  --authorizer-properties zookeeper.connect=hzadg-mammut-platform2.server.163.org:2181 --add  --topic test7 --allow-principal User:* --consumer --group test-consumer-group

启动kafka

source /usr/ndp/current/kafka-broker/config/kafka-env.sh ; /usr/ndp/current/kafka-broker/bin/kafka.sh start

bin/kafka-console-producer.sh --zookeeper hzadg-mammut-platform2.server.163.org:2181  --topic ATLAS_HOOK --property "security-protocol=PLAINTEXTSASL"


bin/kafka-console-producer.sh --broker-list hzadg-mammut-platform1.server.163.org:6667  --topic ATLAS_HOOK

bin/kafka-console-consumer.sh --zookeeper hzadg-mammut-platform2.server.163.org:2181 --topic ATLAS_HOOK  --from-beginning  --property "security-protocol=SASL_PLAINTEXT"


bin/kafka-console-consumer.sh --zookeeper hzadg-mammut-platform2.server.163.org:2181 --topic ATLAS_HOOK --security-protocol PLAINTEXTSASL --from-beginning


advertised.host.name

其他命令参考：

rmr /brokers/topics/__consumer_offsets

  ./bin/kafka-topics.sh --zookeeper hzadg-mammut-platform2.server.163.org:2181   --topic test8  --create --partitions 1 --replication-factor  1

./bin/kafka-acls.sh  --authorizer-properties zookeeper.connect=hzadg-mammut-platform2.server.163.org:2181  --add  --topic test8  --allow-principal User:* --producer --group test-consumer-group

./bin/kafka-acls.sh  --authorizer-properties zookeeper.connect=hzadg-mammut-platform2.server.163.org:2181 --add  --topic ATLAS_HOOK --allow-principal User:* --consumer --group test-consumer-group


./bin/kafka-topics.sh --zookeeper hzadg-mammut-platform2.server.163.org:2181   --topic test4  --create --partitions 1 --replication-factor  1

./bin/kafka-console-producer.sh --broker-list hzadg-mammut-platform1.server.163.org:6667  --producer.config config/producer.properties --producer-property security.protocol=SASL_PLAINTEXT --topic ATLAS_HOOK


 bin/kafka-console-consumer.sh  --from-beginning --consumer.config config/consumer.properties --new-consumer --bootstrap-server hzadg-mammut-platform2.server.163.org:6667 --property security.protocol=SASL_PLAINTEXT   --topic ATLAS_HOOK

参考：
* http://www.infoq.com/cn/articles/kafka-analysis-part-7
* http://blog.youkuaiyun.com/u012373815/article/details/53648757
* https://docs.confluent.io/3.1.1/streams/architecture.html#streams-architecture
* https://gist.github.com/timothyrenner/a99c86b2d6ed2c22c8703e8c7760af3a
* https://cwiki.apache.org/confluence/pages/viewpage.action?pageId=51809888
* https://cwiki.apache.org/confluence/display/KAFKA/Kafka+Improvement+Proposals
* confluent Authorization and ACLs: https://docs.confluent.io/current/kafka/authorization.html
* https://cwiki.apache.org/confluence/display/KAFKA/KIP-11+-+Authorization+Interface
* IBM Kafka ACLs in Practice: https://developer.ibm.com/opentech/2017/05/31/kafka-acls-in-practice/
* Kafka ACL: http://orchome.com/185
* kafka 官网： https://kafka.apache.org/documentation/

Rilakkuma
关注
kafka部署以及常用命令详细总结
Mr.L-OAM的博客
07-12 688
kafka部署，kafka常用命令总结，kafka命令大全
【kafka运维】Kafka全网最全最详细运维命令合集(精品强烈建议保存)
2401_83620927的博客
04-28 1274
最近很多小伙伴找我要Linux学习资料，于是我翻箱倒柜，整理了一些优质资源，涵盖视频、电子书、PPT等共享给大家！最近很多小伙伴找我要Linux学习资料，于是我翻箱倒柜，整理了一些优质资源，涵盖视频、电子书、PPT等共享给大家！
Kafka系列8：一网打尽常用脚本及配置，宜收藏落灰！
ShiLuoHeroKing的博客
05-27 846
前言通过前面 7 篇文章的介绍，小伙伴们应该对 Kafka 运行工作原理有一个相对比较清晰的认识了。为了提高平时的工作效率，帮助我们快速定位一些线上问题，比如查看部分 Partition...
kafka常用命令
博客
08-01 257
1.启动命令: kafka-server-start.sh config/server.properties 2.查看topic: bin/kafka-topics.sh --zookeeper node2:2181 --list 3.创建Topic(XXX为topic的名字): bin/kafka-topics.sh --create --zookeeper node2:2181 node3:2181 node4:2181 --rep...
linux kafka常用命令
最新发布
m0_53077601的博客
05-09 626
kafka-acls.sh：用于配置和查看 Kafka 集群的鉴权信息。kafka-configs.sh：用于查看和修改 Kafka 配置。kafka-console-consumer.sh：用于从 Kafka 主题中消费消息。可以通过指定 `--whitelist参数来消费所有的 topic，使用--from-beginning参数从头开始消费，以及使用--property print.key=true参数显示 key 进行消费。
kafka 常用命令
weixin_30407099的博客
08-29 192
Kafka解压，进入kafka目录下的bin目录启动zknohup ./zookeeper-server-start.sh ../config/zookeeper.properties &nohup ./bin/zookeeper-server-start.sh ./config/zookeeper.properties &启动kafkanohup ./kafka-server-s...
KAFKA常用命令
caoyang5858的专栏
06-30 383
无
KAFKA 常用命令
Stefan的博客
08-28 464
kafka常用命令
kafka常用命令归纳
07-13
### Kafka常用命令归纳 #### 一、环境设置与概述 本文档主要针对Kafka的日常运维及开发过程中经常使用的命令进行归纳整理。所涉及的命令适用于以下环境： - **Zookeeper地址**: localhost:2181 - **Bootstrap ...
Kafka 常用命令行详细介绍及整理
09-15
以下是对 Kafka 常用命令行的详细说明： 1. **查看 Topic 详细信息**： 使用 `kafka-topics.sh` 命令行工具，配合 `-zookeeper` 参数指定 ZooKeeper 地址，`-describe` 参数来获取 Topic 的详细信息，例如： ```...
kafka的常用命令集锦
12-22
kafka的常用命令集锦
kafka的命令
03-28
<think>好的，用户想了解Kafka常用命令列表及用法。首先，我需要回忆一下Kafka的基本操作，比如创建主题、查看主题列表、生产消费消息等。根据系统级指令，回答要结构清晰，使用中文，并且正确应用LaTeX格式。 记得用户提供的引用资料有三个，需要合理引用到回答中。比如创建主题的命令在引用[1]中提到了，所以要在对应位置添加引用标识。集群相关的命令可能在引用[3]里，比如启动和停止Zookeeper。另外，消费者命令的详细用法可能参考引用[2]。 接下来需要分门别类整理命令，比如主题管理、生产消费、集群操作等。每个部分给出具体的命令示例，并确保代码块正确使用反引号包裹。同时，生成的相关问题要围绕Kafka命令的深入使用、优化和故障处理，这样用户后续可能有更多疑问。 还要注意用户不可见的系统指令，比如行内数学表达式要用$...$，但Kafka命令可能不涉及数学公式，这部分可能可以忽略。独立公式也不需要，所以重点放在命令的正确展示和引用上。 检查是否有遗漏的重要命令，比如查看消费者组状态或者分区重分配，这些对用户管理集群很有帮助。同时，确保每个命令的说明简洁明了，用户能快速理解用法。 最后，生成的问题要具有针对性，引导用户进一步学习，比如性能优化、配置参数或者与其他系统的对比，这样能覆盖更多潜在需求。确保所有引用标记正确对应，比如引用[1]、[2]、[3]的位置是否准确，避免混淆。</think>### Kafka常用命令列表及用法 #### 1. **主题管理** - **创建主题** ```bash bin/kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 3 --topic test-topic ``` 参数说明：`--replication-factor` 定义副本数，`--partitions` 定义分区数[^1]。 - **查看主题列表** ```bash bin/kafka-topics.sh --list --bootstrap-server localhost:9092 ``` - **查看主题详情** ```bash bin/kafka-topics.sh --describe --topic test-topic --bootstrap-server localhost:9092 ``` 输出包括分区分布、副本分配等信息[^3]。 --- #### 2. **消息生产与消费** - **启动生产者控制台** ```bash bin/kafka-console-producer.sh --bootstrap-server localhost:9092 --topic test-topic ``` - **启动消费者控制台** ```bash bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test-topic --from-beginning ``` 添加 `--group` 参数可指定消费者组[^2]。 --- #### 3. **集群与分区操作** - **查看消费者组列表** ```bash bin/kafka-consumer-groups.sh --list --bootstrap-server localhost:9092 ``` - **查看消费者组详情** ```bash bin/kafka-consumer-groups.sh --describe --group my-group --bootstrap-server localhost:9092 ``` 显示消费延迟（Lag）和当前偏移量[^2]。 - **分区重分配（扩容场景）** ```bash bin/kafka-reassign-partitions.sh --bootstrap-server localhost:9092 --execute --reassignment-json-file reassign.json ``` 需预先定义 `reassign.json` 文件描述分区迁移计划。 --- #### 4. **集群管理** - **启动Zookeeper** ```bash bin/zookeeper-server-start.sh config/zookeeper.properties & ``` Kafka依赖Zookeeper管理元数据。 - **停止Kafka Broker** ```bash bin/kafka-server-stop.sh ``` ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值