xcc的博客

转自：https://github.com/alibaba/RocketMQ/wiki/rmq_vs_kafka淘宝内部的交易系统使用了淘宝自主研发的Notify消息中间件，使用Mysql作为消息存储媒介，可完全水平扩容，为了进一步降低成本，我们认为存储部分可以进一步优化，2011年初，Linkin开源了Kafka这个优秀的消息中间件，淘宝中间件团队在对Kafka做过充分Review之后，

group.id 默认值：无唯一的指明了consumer的group的名字，group名一样的进程属于同一个consumer group。 zookeeper.connect 默认值：无指定了ZooKeeper的connect string，以hostname:port的形式，hostname和port就是ZooKeeper集群各个节点的hostname和port。 ZooKe...

原文地址：https://cwiki.apache.org/confluence/display/KAFKA/Replication+tools#Replicationtools-1.ControlledShutdowncontrolled shutdown是啥意思？在0.8版本中，每一个partition可以有多个replica。这些replica分布在多个broker上，提供了高可用...

原文链接：https://cwiki.apache.org/confluence/display/KAFKA/Replication+tools#Replicationtools-2.PreferredReplicaLeaderElectionTool这工具做了啥？为了支持replication功能，每一个partition可以有多个replica。一个partition的replic...

原文链接:https://cwiki.apache.org/confluence/display/KAFKA/Replication+tools#Replicationtools-3.ListTopicTool此工具能干啥?此工具列出了一个指定的topic的列表的信息。如果在命令行中没有提供topic，则会向ZK查询，获得所有的topic并展示它们的信息，其中有topic的名字，par...

原文链接：https://cwiki.apache.org/confluence/display/KAFKA/Replication+tools#Replicationtools-3.ListTopicTool此工具能干啥？如果设置auto.create.topics.enable为true，则Kafka会默认自动创建topic。会使用默认的partition数量，replicatio...

原文链接：https://cwiki.apache.org/confluence/display/KAFKA/Replication+tools#Replicationtools-5.AddPartitionTool此工具能做啥?Kafka的partition表示并发度的单元：一个topic的消息可以分布到多个partition上，并存储在多个server上。一旦创建了一个topic，就...

 原文链接：https://cwiki.apache.org/confluence/display/KAFKA/Replication+tools#Replicationtools-6.ReassignPartitionsTool此工具能做啥?此工具的作用跟Referred Replica Leader Election工具类似，都是为了平衡集群的负载。但工具不仅为某一个par...

原文链接：https://cwiki.apache.org/confluence/display/KAFKA/Replication+tools#Replicationtools-7.StateChangeLogMergerTool此工具能做啥 ? 此工具的目标是从集群中的各个broker中收集数据并格式化最后合并成一个文件来帮助我们查看state changes，查明问题。集群中...

主要参考：https://cwiki.apache.org/confluence/display/KAFKA/Developer+Setup#DeveloperSetup-Eclipsesetup 下面是我自己的步骤： 1，安装Eclipse，略过，我的版本是： 2，安装scale插件，注意要跟你的eclipse版本对应，访问http://scala-ide.org/dow...

metadata.broker.list 默认值：无，必填格式为host1:port1,host2:port2，这是一个broker列表，用于获得元数据(topics，partitions和replicas)，建立起来的socket连接用于发送实际数据，这个列表可以是broker的一个子集，或者一个VIP，指向broker的一个子集。 request.required.acks 默...

broker.id  默认值：无每一个broker都有一个唯一的id，这是一个非负整数，这个id就是broker的"名字"，这样就允许broker迁移到别的机器而不会影响消费者。你可以选择任意一个数字，只要它是唯一的。 log.dirs 默认值：/tmp/kafka-logs一个用逗号分隔的目录列表，可以有多个，用来为Kafka存储数据。每当需要为一个新的partition分配...

原文链接：https://cwiki.apache.org/confluence/display/KAFKA/Replication+tools#Replicationtools-5.AddPartitionTool此工具能做啥?Kafka的partition表示并发度的单元：一个topic的消息可以分布到多个partition上，并存储在多个server上。一旦创建了一个topic，就要

原文地址：https://cwiki.apache.org/confluence/display/KAFKA/Replication+tools#Replicationtools-1.ControlledShutdowncontrolled shutdown是啥意思？在0.8版本中，每一个partition可以有多个replica。这些replica分布在多个broker上，提供了高可用。

原文链接：https://cwiki.apache.org/confluence/display/KAFKA/Replication+tools#Replicationtools-2.PreferredReplicaLeaderElectionTool这工具做了啥？为了支持replication功能，每一个partition可以有多个replica。一个partition的replica列

原文链接：https://cwiki.apache.org/confluence/display/KAFKA/Replication+tools#Replicationtools-6.ReassignPartitionsTool此工具能做啥?此工具的作用跟Referred Replica Leader Election工具类似，都是为了平衡集群的负载。但工具不仅为某一个partitio

原文链接：https://cwiki.apache.org/confluence/display/KAFKA/Replication+tools#Replicationtools-7.StateChangeLogMergerTool此工具能做啥 ? 此工具的目标是从集群中的各个broker中收集数据并格式化最后合并成一个文件来帮助我们查看state changes，查明问题。集群中的每

broker.id  默认值：无每一个broker都有一个唯一的id，这是一个非负整数，这个id就是broker的"名字"，这样就允许broker迁移到别的机器而不会影响消费者。你可以选择任意一个数字，只要它是唯一的。 log.dirs 默认值：/tmp/kafka-logs一个用逗号分隔的目录列表，可以有多个，用来为Kafka存储数据。每当需要为一个新的partition分配一个

原文链接:https://cwiki.apache.org/confluence/display/KAFKA/Replication+tools#Replicationtools-3.ListTopicTool此工具能干啥?此工具列出了一个指定的topic的列表的信息。如果在命令行中没有提供topic，则会向ZK查询，获得所有的topic并展示它们的信息，其中有topic的名字，parti

主要参考：https://cwiki.apache.org/confluence/display/KAFKA/Developer+Setup#DeveloperSetup-Eclipsesetup 下面是我自己的步骤： 1，安装Eclipse，略过，我的版本是： 2，安装scale插件，注意要跟你的eclipse版本对应，访问http://scala-ide.org/downl

参考文档：https://kafka.apache.org/documentation.html#monitoring Kafka使用Yammer Metrics来报告server和client的众多metric。还可以使用其他的插件来跟你的监控系统连接起来，比如https://cwiki.apache.org/confluence/display/KAFKA/JMX+Reporters中

原文链接：https://cwiki.apache.org/confluence/display/KAFKA/Replication+tools#Replicationtools-3.ListTopicTool此工具能干啥？如果设置auto.create.topics.enable为true，则Kafka会默认自动创建topic。会使用默认的partition数量，replication

参考文档：https://kafka.apache.org/documentation.html#monitoring Kafka使用Yammer Metrics来报告server和client的众多metric。还可以使用其他的插件来跟你的监控系统连接起来，比如https://cwiki.apache.org/confluence/display/KAFKA/JMX+Reporter...