Kafka总结

•  Kafka

• Kafka：Kafka是分布式消息系统，将消息持久化到磁盘，默认保存一周
• 概念：
  • broker：broker是组成Kafka集群的节点，负责消息读写、存储，broker之间没有主从关系，一个broker可以管理多个partition
  • producer：消息生产者，producer两种机制【自己决定写往哪个topic中的那个partition】：hash、轮询
  • consumer：消息消费者，消费者自己维护消费者偏移量，consumer有各自的消费者组，不同组之间消费相同的topic互不影响。相同的消费组内的消费者，消费同一个topic数据，这个topic中相同的消息只能被消费一次
  • topic：topic是一类消息 / 消息队列，topic由partition组成，创建的时候可以指定，
  • partition：partition是组成topic的单元，在broker中，每个partition有副本，创建topic的时候可以指定，每个partition由一个broker管理
  • ZooKeeper：存储原数据，包含consumer消费偏移量+broker信息+partition信息+topic信息
• Kafka集群搭建：https://blog.youkuaiyun.com/Future_LL/article/details/87941627
  • 上传解压Kafka压缩包
  • 修改配置文件 vim server.properties：
    • broker.id：配置每个broker的信息
    • log.dirs：配置真实数据存储位置
    • zookeeper.connect = IP1:2181,IP2:2181,IP3:2181
  • 每台broker都要启动：./bin/kafka-server-start.sh config/server.properties
• 命令：
  • 查看集群有哪些topic：./kafka-topics.sh --zookeeper IP1:2181,IP2,IP3 --list
  • 创建topic：./kafka-topics.sh --zookeeper IP1:2181,IP2,IP3 --create --topic t0425 --partition 3 --replication-factor 3
  • 控制台当做生产者：./kafka-console-producer.sh --broker-list IP1:9092,IP2:9092,IP3:9092 --topic t0425 
  • 控制台当做消费者：./kafka-console-consumer.sh --zookeeper IP1:2181,IP2:2181,IP3:2181 --topic t0425
  • 查看topic的描述信息：./kafka-topics.sh --ZooKeeper IP1,IP2,IP3 --describe --topic t0425
  • 查看producer生产消息的最大位置：./bin/kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list IP1:9092 --topic t0425 --time -1
    • -1表示查询t0425各个分区当前最大的消息位移值（注意：这里的位移不是consumer端的位移，而是值消息在每个分区的位置） 
  • 如果你要查询曾经生产过的最大消息数，那么只运行上面这条命令，然后把各个分区的结果相加就可以了
  • ​​​​​​​如果你需要查询当前集群中该topic的消息数，那么还需要运行下面这条命令：./bin/kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list IP1:9092 --topic t0425 --time -2
    • ​​​​​​​-2表示去获取当前各个分区的最小位移，之后把运行第一条命令的结果与刚刚获取的位移之和相减就是集群中该topic的当前消息总数
• ​​​​​​​​​​​​​​Kafka的Leader均衡机制：
  • ​​​​​​​当partition的leader挂掉，会按照副本优先去寻找新的leader，由新的leader来管理partition
  • 当挂掉的leader重新启动，partition会重新由原来的leader管理
• ​​​​​​​删除topic：
  • ​​​​​​​第一步：先删除 kafka-logs 目录下的想要删除的topic：rm -rf kafka-logs/topic名-*
  • 第二步：delete删除想要删除的topic：./bin/kafka-topics.sh --zookeeper localhost:2181 --delete --topic topic名
  • 第三步：查看topic：./bin/kafka-topics.sh --zookeeper localhost:2181 --list
  • 
  • 第四步：想要立刻删除，还要删除ZooKeeper中的topic信息：rmr /brokers/topics/t0425
  • 
  • 第五步：删除被删除标记所标记的topic：rmr /admin/delete_topics/t0425
  • 
  • 第六步：再次查看就没有了
  •