kafka常用指令(一)

一.  常用指令\

1.      启动kafka服务

bin/kafka-server-start.sh config/server.properties &

2.      关闭kafka服务

bin/kafka-server-stop.sh

3.      查看主题topics

[root@dn1 bin]#./kafka-topics.sh --list -zookeeper dn1

ATLAS_ENTITIES

ATLAS_HOOK

__consumer_offsets

ambari_kafka_service_check

4.      添加主题topic

[root@dn1 bin]# ./kafka-topics.sh --create --zookeeperdn1:2181,dn2:2181 --replication-factor 1 --partitions 1 --topic test

Created topic "test"

5.      查看topic描述

[root@dn1 bin]# ./kafka-topics.sh--describe --zookeeper localhost:2181 --topic test

Topic:test      PartitionCount:1        ReplicationFactor:1     Configs:

    Topic: test     Partition: 0    Leader: 1001    Replicas: 1001  Isr: 1001

6.      生产者发布消息

[root@dn1 bin]# ./kafka-console-producer.sh --broker-listdn1:6667,dn2:6667 --topic test

OSendMessage 1

Send Message 2

7.      消费者读取消息

[root@dn1bin]# ./kafka-console-consumer.sh --zookeeper dn1:2181,dn2:2181 --topic test--from-beginning

Using theConsoleConsumer with old consumer is deprecated and will be removed in a futuremajor release. Consider using the new consumer by passing [bootstrap-server]instead of [zookeeper].

{metadata.broker.list=dn1.hadoop:6667,request.timeout.ms=30000, client.id=console-consumer-9264,security.protocol=PLAINTEXT}

SendMessage 1

Send Message 2


### Kafka 基本命令及使用方法 #### 启动 Kafka 服务 为了启动 Kafka 服务器,可以执行如下脚本: ```bash bin/kafka-server-start.sh config/server.properties & ``` 这条命令会以后台进程的方式运行 Kafka 服务器,并加载配置文件 `server.properties` 中定义的各项设置[^2]。 #### 列出所有 Topic 要查看当前 Kafka 集群中存在的主题列表,可利用以下指令: ```bash bin/kafka-topics.sh --list --zookeeper localhost:2181 ``` 此命令通过连接到指定 Zookeeper 实例来获取并显示所有的主题名称[^3]。 #### 创建新 Topic 创建个新的 Kafka 主题可以通过下面的命令实现: ```bash bin/kafka-topics.sh --create --topic my-topic-name \ --partitions 3 --replication-factor 2 \ --partitions`) 和副本因子 (`--replication-factor`) 参数以控制该主题的数据分布情况。 #### 删除现有 Topic 当不再需要某个特定的主题时,可通过下列方式将其删除: ```bash bin/kafka-topics.sh --delete --topic my-old-topic \ --zookeeper localhost:2181 ``` 请注意,在某些版本中可能不会立即物理移除数据;而是标记为已删除状态等待清理策略生效。 #### 描述 Topic 细节 对于想要深入了解某主题的具体属性(比如分区详情),则应该采用描述功能: ```bash bin/kafka-topics.sh --zookeeper localhost:2181 ``` 这将提供关于所选主题更详细的元数据信息,如领导者节点、跟随者等角色分配状况。 #### 使用消费者读取消息 最后,若希望从指定主题消费消息,则需借助于专门设计用于测试目的简单工具——Kafka 控制台消费者客户端: ```bash bin/kafka-console-consumer.sh --bootstrap-server broker-list \ --from-beginning --topic target-topic ``` 其中 `broker-list` 应替换为目标集群中的实际地址列表字符串形式表示。而选项 `--from-beginning` 表明将从最早的消息开始接收而不是仅限最新产生的记录[^4]。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值