abcwywht的博客

kafka-console-consumer.sh 脚本是一个简易的消费者控制台。该 shell 脚本的功能通过调用 kafka.tools 包下的 ConsoleConsumer 类，并将提供的命令行参数全部传给该类实现。消息消费 表示从 latest 位移位置开始消费该主题的所有分区消息，即仅消费正在写入的消息。bin/kafka-console-consumer.sh --bootstrap-server node1:9092,node2:9092,node3:9092 --topic to

相信大家最近一定关注到一款重量级消息中间件Kafka发布了2.8版本，并且正式移除了对Zookeeper的依赖，背后的设计哲学是什么呢？仅仅只是减少了一个外部依赖吗？答案显然不会这么简单，容我慢慢道来。在解答为什么之前，我觉得非常有必要先来阐述一下Zookeeper的经典使用场景。Zookeeper的经典使用场景Zookeeper是伴随着大数据、分布式领域的兴起。大数据中的一个非常重要的议题是如何使用众多廉价的机器来实现可靠存储。所谓廉价的机器就是发生故障的概率非常大，但单台的成本也非常

1、概念介绍在查看topic详细信息的话可以看到有个Isr：首先要引出一个问题，为什么要存在这些东西：在数据同步的时候，如果发生leader死掉，并且重新选举的leader能力不强（数据同步速度慢，数据同步不全面），会造成一群follow跟着一个傻逼leader。造成脏数据。所以我们就要知道哪些副本能力是较强的，同步数据是最快最完整的，在leader发生问题后第一时间补上。AR：Assigned Replicas 总的分配副本OSR：Out-of-Sync Replicas 脱离同步副本。

对于 Kafka 消费者来说，监控它们的消费进度非常的重要，或者说是监控它们消费的滞后程度。这个滞后程度有个专门的名称：消费者 Lag 或 Consumer Lag。所谓滞后程度，就是指消费者当前落后于生产者的程度。比方说，Kafka 生产者向某主题成功生产了 100 万条消息，你的消费者当前消费了 80 万条消息，那么我们就说你的消费者滞后了 20 万条消息，即 Lag 等于 20 万。通常来说，Lag 的单位是消息数，而且我们一般是在主题这个级别上讨论 Lag 的，但实际上，Kafka 监控 Lag 的

1 什么是kafkaKafka是分布式发布-订阅消息系统，它最初是由LinkedIn公司开发的，之后成为Apache项目的一部分，Kafka是一个分布式，可划分的，冗余备份的持久性的日志服务，它主要用于处理流式数据。2 为什么要使用 kafka，为什么要使用消息队列缓冲和削峰：上游数据时有突发流量，下游可能扛不住，或者下游没有足够多的机器来保证冗余，kafka在中间可以起到一个缓冲的作用，把消息暂存在kafka中，下游服务就可以按照自己的节奏进行慢慢处理。解耦和扩展性：项目开始的时候，并不能