paul342的专栏

本文基于Kafka 0.81. 引言互联网够公司的日志无处不在，web日志，js日志，搜索日志，监控日志等等。对于这些日志的离线分析（Hadoop），wget&rsync虽然人力维护成本较高，但可以满足功能行需求。但对于这些日志的实时分析需求（例如实时推荐，监控系统），则往往必须要引入一些“高大上”的系统。传统的企业消息系统（例如WebSphere）并不是非常适合大规模的日志处理系

在当前的大数据时代，第一个挑战是海量数据的收集，另一个就是这些数据的分析。数据分析的类型通常有用户行为数据、应用性能跟踪数据、活动数据日志、事件消息等。消息发布机制用于连接各种应用并在它们之间路由消息，例如通过message broker。Kafka是快速地将海量信息实时路由到消费者的解决方案，实现信息的生产者和消费者的无缝集成。它不会阻塞信息的生产者，同时信息生产者不会知道信息消费者。Apa

现在我们构建Kafka消息订阅发布系统。Kafka支持多种集群方式，例如：单节点单broker集群单节点多broker集群多节点多broker集群一个Kafka集群主要包含以下五个组件：topic：topic是producer发布的消息的类别。在Kafka中，topic是分区的，每个partition内是顺序不可变的消息序列。Kafka集群维护每个topic的partition

在开始开发producer和consumer之前，先从设计的角度看一看Kafka。由于重度依赖JMS，且实现方式各异、对可伸缩架构的支持不够，LinkedIn开发了Kafka来实现对活动流数据和运营指标数据的监控，这些数据包括CPU、I/O使用数据、请求响应时间等。开发Kafka时主要目标是提供以下特性：支持自定义实现的producer和consumer的API以低开销的网络和存储实现

procedure就是产生消息并将消息发布至broker的应用。producer连接至任意的活动节点并请求获取某个topic的partition的leader元数据。这样producer可以直接将信息发给该partition的lead broker。出于效率考虑，producer可以分批发布消息，但是只能在异步模式下。异步模式下，producer可以配置queue.time或`batc

consumer就是接收producer发布的消息进行处理的应用。上图描述了consumer消费消息的high-level层工作原理。consumer从broker内的topic订阅消息；然后consumer向lead broker发起请求，指定消息的offset。consumer使用这样的拉取模式，每次始终拉取它记录在日志中当前位置之后的所有消息。在订阅时，consumer连接到任意

Storm集成KafkaStorm简介少量数据的实时处理可以使用JMS（Java Messaging Service）这类技术，但是数据量很大时便会出现性能瓶颈。而且这些方案不适合横向扩展。Storm是开源的分布式实时数据处理系统。它可用于很多场景，如实时分析（real-time analytics）、在线机器学习（online machine learning）、连续计算（conti

Kafka管理工具Kafka集群管理工具Kafka集群管理内容包括服务器启停、leader均衡、复制、集群镜像、集群扩展等。添加服务器向Kafka集群中添加服务器时，需要分配一个唯一的broker ID给新服务器。这时添加新服务器不会自动分配数据分区。重分配工具kafka-reassign-partitions.sh用于在broker之间移动partition。Kafka将新服务器