Kafka

Kafka

 

（科技术语）

  编辑

Kafka是由 Apache软件基金会开发的一个开源流处理平台，由 Scala和 Java编写。Kafka是一种高吞吐量的 分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。 这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。 对于像 Hadoop的一样的 日志数据和离线分析系统，但又要求实时处理的限制，这是一个可行的解决方案。Kafka的目的是通过 Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过 集群来提供实时的消费。

软件名称

Apache Kafka

开发商

Apache软件基金会

软件平台

跨平台

软件版本

1.0.0

更新时间

2017-10-01

软件语言

Scala ,  Java

软件大小

15M

软件授权

Apache License 2.0

目录

1. 1 特性
2. 2 相关术语介绍

特性

编辑

Kafka [1]   是一种高吞吐量 [2]   的分布式发布订阅消息系统，有如下特性：

• 通过O(1)的磁盘数据结构提供消息的持久化，这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。
• 高吞吐量 [2]   ：即使是非常普通的硬件Kafka也可以支持每秒数百万 [2]   的消息。
• 支持通过Kafka服务器和消费机集群来分区消息。
• 支持 Hadoop并行数据加载。 [3]  

Kafka通过官网发布了最新版本1.0.0 [4-5]  

相关术语介绍

编辑

• Broker
  Kafka集群包含一个或多个服务器，这种服务器被称为broker [5]  
• Topic
  每条发布到Kafka集群的消息都有一个类别，这个类别被称为Topic。（物理上不同Topic的消息分开存储，逻辑上一个Topic的消息虽然保存于一个或多个broker上但用户只需指定消息的Topic即可生产或消费数据而不必关心数据存于何处）
• Partition
  Partition是物理上的概念，每个Topic包含一个或多个Partition.
• Producer
  负责发布消息到Kafka broker
• Consumer
  消息消费者，向Kafka broker读取消息的客户端。
• Consumer Group
  每个Consumer属于一个特定的Consumer Group（可为每个Consumer指定group name，若不指定group name则属于默认的group）。

参考资料

• 1.  Apache Kafka官网  ．Apache Kafka官网[引用日期2018-1-5]
• 2.  Benchmarking Apache Kafka: 2 Million Writes Per Second (On Three Cheap Machines)  ．LinkedIn．2014-04-27[引用日期2015-11-20]
• 3.  分布式发布订阅消息系统 Kafka  ．开源中国社区．2011-05-07[引用日期2015-06-29]
• 4.  [ANNOUCE] Apache Kafka 0.8.2.2 Released  ．Search Hadoop．2015-10-03[引用日期2015-11-20]
• 5.  Downloads  ．Kafka官网[引用日期2018-1-5]