Kafka 入门介绍

目录

一. 前言

二. 使用场景

三. 分布式的流平台

四. Kafka 的基本术语

4.1. 主题和日志 （Topic 和 Log）

4.2. 分布式（Distribution）

4.3. 异地数据同步技术（Geo-Replication）

4.4. 生产者（Producers）

4.5. 消费者（Consumers）

4.6. Kafka 的保证（Guarantees）

4.7. Kafka 作为一个消息系统

4.8. Kafka 作为一个存储系统

4.9. Kafka 的流处理

五. 总结

---

一. 前言

    Kafka 最初由 Linkedin 公司开发，是一个分布式、支持分区的（Partition）、多副本的（Replica），基于 Zookeeper 协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景，比如基于 Hadoop 的批处理系统、低延迟的实时系统、Storm/Spark 流式处理引擎，web/nginx 日志、访问日志，消息服务等等，用 scala 语言编写，Linkedin 于2010年贡献给了 Apache 基金会并成为顶级开源项目。

    Kafka 实际上算作是分布式的流处理平台，具备消息中间件的功能，在大数据领域作为流计算的平台，也会做消息分发。

    Kafka 具有高吞吐量、高横向扩容以及故障转移，支持幂等性、事务以及三种消息语义，并且具有消息持久化等特点。

二. 使用场景

    下面是一些关于 Apache Kafka 非常流行的使用场景。这些领域的概述，可查看英文博客