数据之路

今天发现一个线上kafka(版本为0.8.2.2)多天前已不再消费的topic标记为删除(marked for deletion)，而我们每天有定时删除topic的shell脚本，会把无用的topic干掉，但发现这些topic只是被标记为删除，而并没有真正删除

如何为Kafka集群选择合适的Partitions数量Hadoop技术博文　　这是许多kafka使用者经常会问到的一个问题。本文的目的是介绍与本问题相关的一些重要决策因素，并提供一些简单的计算公式。文章目录 [hide]1 越多的分区可以提供更高的吞吐量2 越多的分区需要打开更多地文件句柄3 更多地分区会导致更高的不可用性4 越多的分区可能增加端对端的延迟5 越多的partition意味着需要客户

http://kafka.apache.org/08/configuration.html

Kafka深度解析By Jason Guo 2015-01-02 Updated:2015-05-31 Contents1.背景介绍1.1.Kafka简介1.2.为什么要用消息系统1.3.常用Message Queue对比2.Kafka解析2.1.Terminology2.2.Kafka架构2.2.1.Pu

参考，https://cwiki.apache.org/confluence/display/KAFKA/System+Toolshttps://cwiki.apache.org/confluence/display/KAFKA/Replication+toolshttp://kafka.apache.org/documentation.html#quickstarthttp:

原文见:http://kafka.apache.org/documentation.html#semantics有这么几种可能的delivery guarantee：At most once 消息可能会丢，但绝不会重复传输At least one 消息绝不会丢，但可能会重复传输Exactly once 每条消息肯定会被传输一次且仅传输一次，很多时候这是用户所想要的。

kafka.common.ConsumerRebalanceFailedException :test-group_xxx can't rebalance after 4 retries解决办法：1.配置zk问题(kafka的consumer配置)zookeeper.session.timeout.ms=5000zookeeper.connection.

在kafka.out日志里出现大量ERROR [ReplicaFetcherThread-0-1], Error for partition [FLAG_DATA_SYC,1] to broker 1:class kafka.common.UnknownTopicOrPartitionException (kafka.server.ReplicaFetcherThread)这是由于

 [2017-06-15 19:33:14,716] ERROR [ReplicaFetcherThread-0-0], Error for partition [3_7_0_20170615,6] to broker 0:class kafka.common.NotLeaderForPartitionException (kafka.server.ReplicaFetcherThread)[20...