Kafka组件研究<一>----组件介绍

1 Kafka概述

1.1 介绍

      Kafka是一种快速、可扩展的、设计内在就是分布式的，分区的和可复制的提交日志服务。

1.2 名词解释

• Topics：一类消息，例如page view日志、click日志等都可以以topic的形式存在，Kafka集群能够同时负责多个topic的分发。
• Producers：We'll call processes that publish messages to a Kafka topic producers。
• Consumers：We'll call processes that subscribe to topics and process the feed of published messages consumers。
• Broker：消息中间件处理结点，一个Kafka节点就是一个broker，多个broker可以组成一个Kafka集群。
• Partition：topic物理上的分组，一个topic可以分为多个partition，每个partition是一个有序的队列。
• Segment：partition物理上由多个segment组成。

1.3 组件原理

1.4 组件架构

1.5 组件特点

1.6 应用场景

Kafka能够作为一种处理各种实时数据流的统一平台，我们为此设想了广泛的使用场景。

• 它必须能够支持高吞吐特性，以支持那些高容量的事件流，例如一个实时的日志收集场景；
• 它必须能够轻松得处理大量积压的数据，以支持那些定时从离线系统中加载大量数据的场景；
• 这同时也意味着它必须能够低延时地进行消息分发，以支持那些传统方式上的消息服务使用场景；

1.7 参考文档

• 《Kafka官方文档》