kafka常用命令

=============================================================================

启动命令：

cd ${KAFKA_HOME}

bin/kafka-server-start.sh config/server.properties >> kafka_logs/kafka_log 2>&1 &

=============================================================================

停止命令

cd ${KAFKA_HOME}

bin/kafka-server-stop.sh config/server.properties >> kafka_logs/kafka_log 2>&1 &

=============================================================================

查看当前服务器中的所有topic

cd ${KAFKA_HOME}

bin/kafka-topics.sh --list --zookeeper  BDI5:2181,BDI6:2181,BDI7:2181

=============================================================================

创建topic

cd ${KAFKA_HOME}

bin/kafka-topics.sh --create --zookeeper BDI5:2181,BDI6:2181,BDI7:2181 --replication-factor 3 --partitions 5 --topic topic_name

=============================================================================

删除topic

cd ${KAFKA_HOME}

bin/kafka-topics.sh --delete --zookeeper BDI5:2181,BDI6:2181,BDI7:2181 --topic topic_name

需要server.properties中设置delete.topic.enable=true否则只是标记删除或者直接重启。

=============================================================================

通过shell命令发送消息

cd ${KAFKA_HOME}

bin/kafka-console-producer.sh --broker-list 10.62.242.137:9092,10.62.242.123:9092,10.62.242.124:9092,10.62.242.125:9092,10.62.242.126:9092 --topic ETE_SERV_8110000_TEST

=============================================================================

通过shell消费消息，直连

cd ${KAFKA_HOME}

bin/kafka-console-consumer.sh --bootstrap-server 10.62.242.137:9092,10.62.242.123:9092,10.62.242.124:9092,10.62.242.125:9092,10.62.242.126:9092 --topic ETE_SERV_8110000 --from-beginning

=============================================================================

8. 获取指定consumer group的位移信息 

bin/kafka-simple-consumer-shell.sh --topic __consumer_offsets --partition 55 --broker-list 10.62.242.137:9092,10.62.242.123:9092,10.62.242.124:9092,10.62.242.125:9092,10.62.242.126:9092 --formatter "kafka.coordinator.GroupMetadataManager\$OffsetsMessageFormatter"

=============================================================================

通过zookeeper

cd ${KAFKA_HOME}

bin/kafka-console-consumer.sh --zookeeper BDI5:2181,BDI6:2181,BDI7:2181 --from-beginning --topic ETE_SERV_8110000_TEST

=============================================================================

查看某个Topic的详情

cd ${KAFKA_HOME}

bin/kafka-topics.sh --topic ETE_SERV_8110000_TEST --describe --zookeeper BDI5:2181,BDI6:2181,BDI7:2181

=============================================================================

查看数据消费情况

bin/kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --zookeeper BDI5:2181,BDI6:2181,BDI7:2181 --group spark-streaming

bin/kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --group dktus --topic ETE_SERV_8110000  --zookeeper BDI5:2181,BDI6:2181,BDI7:2181/highkafka

bin/kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --zookeeper BDI5:2181,BDI6:2181,BDI7:2181 --group logstash

bin/kafka-consumer-groups.sh --bootstrap-server BDI10:9093 --describe --group dktus

=============================================================================

GROUP     TOPIC     PID       OFFSET             LOGSIZE   LAG

消费者组  话题id    分区id    当前已消费的条数   总条数    未消费的条数

=============================================================================

查看最大的offset

bin/kafka-run-class.sh kafka.tools.GetOffsetShell --topic ETE_SERV_8110000 --time -1 --broker-list 10.62.242.137:9092,10.62.242.123:9092,10.62.242.124:9092,10.62.242.125:9092,10.62.242.126:9092

=============================================================================

通过zookeeper监控kafka集群存活情况

cd ${ZK_HOME}

bin/zkCli.sh

查看broker存活节点： ls /brokers/ids

查看kafka的topics： ls /brokers/topics

=============================================================================

压力测试

bin/kafka-producer-perf-test.sh --topic test11 --num-records 10000000 --record-size 1000 --throughput 10000000 --producer-props bootstrap.servers=10.62.242.137:9092,10.62.242.123:9092,10.62.242.124:9092,10.62.242.125:9092,10.62.242.126:9092 batch-size=200 compression-codec=1

=============================================================================

修改topic分区，只能增加分区

bin/kafka-topics.sh --zookeeper BDI5:2181,BDI6:2181,BDI7:2181 --alter --topic sgn_data --partitions 10