kafka基础命令及基础知识

关注

原创 2022-04-14 18:35:39 2.1k 阅读 AI 写同款· GEO 优化 ›

Kafka从入门到精通一. MQ基础知识 1. 常见的MQ Kafka, ActiveMQ, RabbitMQ, RocketMQ 在大数据场景下，主要使用Kafka，在javaee中主要采用ActiveMQ, RabbitMQ, RocketMQ 2. MQ作用（1）削峰（2）解耦（3）异步 3. 消息队列的模式（1）点对点模式（2）发布订阅模式二. Kafka基础架构 1. 在同一个消费者组中（每条消息只能被该组中的一个消费者消费），每个分区只能由一个固定消费者进行处理，否则后续很.. 阅读详情

kafka下载

略

kafka启动

从kafka的根目录启动

bin/kafka-server-start.sh config/server.properties

以守护线程方式启动

bin/kafka-server-start.sh -daemon config/server.properties

kafka使用命令

查看当前topic：

bin/kafka-topics.sh --list --zookeeper localhost:2181

创建topic： --topic topicname（主题名字） --parttitions num（分区数） --replication-factor num（副本数）

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

启动一个消费者

在一个新的终端执行下面的命令。

bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning

启动生产者

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

启动后，可以输入内容，然后回车。此时你应该可以在上一个消费者中看到有消息输出。

查看 topic 列表

bin/kafka-topics.sh --list --zookeeper localhost:2181

查看描述 topics 信息

bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic test

kafka常用知识

kafka消息结构

kafka引入一个leader/follower机制，一个topic有n个partition，n个partition都在自身以外的服务器中有多个follower（备份），平时是leader在使用，一旦leader挂掉，follower成为leader接替使用

consumer也有一个consumer group，一条topic的partition中的消息只能被consumer group中的一个拉取消费，若要一条topic被多个消费者同时订阅消费，则需要，把多个消费者放到不同的consumer group中

同一个消费者组里的不同消费者不能同时消费同一个分区的数据，所以消费者组的个数一般少于等于topic中parttiton的个数

kafka之MQ消息不重复

消费端处理消息的业务逻辑保持幂等性：不过来多少条消息，最后处理结构都是一样的
保证每条消息都有唯一编号且保证消息处理成功与去重表的日志同时出现：利用一张日志表来记录已经处理成功的消息的ID，如果新到的消息ID已经在日志表中，那么就不再处理这条消息。消息系统实现，也可以业务端实现。

kafka之空消息处理

kafka采用pull的方式获取消息，为了避免一直获取空数据，kafka在消费数据时会穿入一个timeout，如果没有数据可消费，consumer会等一段时间再返回，这段时长是timeout

一个consumer group中多个消费者，一个topic中有多个partition，这就牵扯到partition的分配问题，即确定那个partition由那个consumer消费，kafka两种方式一个RoundRobin（轮训：按照组分的），一个Range（按照topic分的）

kafka之ack–保证消息同步

kafka接受到producer的消息，同步到leader和全部的follower中，才会给producer发送ack（消息发送成功），那么这里就有一个问题，如果其中一个follower挂了就会造成一直不能发送ack怎么办，这时候leader维护了一个动态的ISR，ISR中的follower同步了leader之后，会发送ack，如果有一个follower迟迟不能同步，ISSR就会把这个follower剔除ISR，接下来leader挂掉之后，只会在ISR中选取leader

ack中的参数：acks等于0时，producer不等broker的ack，这个有可能消息丢失，acks等于1时，partition的leader同步后返回ack，如果follower同步之前leader故障，会造成消息丢失（被写入死亡leader但尚未复制将失去了唯一的消息），等于-1时，是ISR中所有的follower同步成功返回ack，极小可能造成数据丢失，有可能造成数据重复（follower同步完成之后，leader没有发送ack之前出故障，换了leader之后，producer会重新发送一遍）

kafka之消息分发

kafka集群链接zookeeper，所以多个端口或多台主机启动kafka连接到同一个zookeeper中，都找zookeeper进行注册，所以producer生产消息时，链接kafka会被自动分配到不同分区（不同主机）
zookeeper帮助kafka构建集群，存储kafka有多少主题，有多少分区，有多少副本，哪个副本是leader，针对topic的增删改查都是直接指向zookeeper