没有伞的孩子必须努力奔跑！—小林

常用命令启动Zookeeper./zkServer.sh start-foreground可选参数：./zkServer.sh {start|start-foreground|stop|restart|status|upgrade|print-cmd}启动ZooInspector，可以查看注册到Zookeeper的Kafka broker和topic情况：java -jar zookeeper-dev-ZooInspector.jar屏幕快照 201...

深入分区 Topic至少有一个分区、可以有多个分区。通过创建时的参数--partitions来指定分区数。 消息被添加到分区中时，会有一个偏移量offset来唯一标识一条消息。因此同一个分区内的消息是顺序的，不同分区中的消息顺序无法保证。 下图中展示了该topic有3个分区，每条消息在被添加到分区中时都有唯一的offset topic的分区 topic分区中的消息存储在日志文件中，而且有过期时间，在server.properties文件中配置，默认保存7天。

一. topic的from-beginning参数 启动zookeeper和kafka bin/zkServer.sh start-foregroundbin/kafka-server-start.sh config/server.properties 创建topic bin/kafka-topics.sh --create --zookeeper localhost:2181 --topic testtopic 启动producer和两个consumer

消息队列是生产者向消息队列发送消息，消费者从消息队列拉取（pull）消息。 生产者 生产者是消息队列的数据源，可以向其发送消息，如字符串、二进制数据等。 消费者 消费者的数据源就是Kafka，于是通过Kafka实现了生产者和消费者两个系统的解耦。 broker 部署了Kafka的server称为broker。Kafka分布式部署就有多台broker。 主题topic topic是字符串，它将消息进行分类、存储 多个生产者可以向同一个topic发送消息 多个消

一. 首先启动zookeeper和kafka 前台方式启动zookeeper bin/zkServer.sh start-foreground 启动kafka bin/kafka-server-start.sh config/server.properties 二. topic命令行工具向kafka发送消息、或从kafka接收消息时必须指定topic。下面的命令可以查看kafka中已有的topic：bin/kafka-topics.sh --zook.

Zookeeper是可以存储数据的，所以我们可以把它理解一个数据库，实际上它的底层原理本身也和数据库是类似的。一、数据库的原理我们知道，数据库是用来存储数据的，只是数据可以存储在内存中或磁盘中。而Zookeeper实际是结合了这两种的，Zookeeper中的数据即会存储在磁盘中以达到持久化的目的，也会同步到内存中以到达快速访问的目的。事实上，用过Zookeeper的同学应该知道，Zoo...

今天我司线上kafka消息代理出现错误日志，异常rebalance，而且平均间隔2到3分钟就会rebalance一次，分析日志发现比较严重。错误日志如下08-09 11:01:11 131 pool-7-thread-3 ERROR [] - commit failed org.apache.kafka.clients.consumer.CommitFailedException: ...