Kafka介绍及快速入门

Kafka介绍

APache Kafka 是一个分布式流平台。

一个流平台有三个关键能力：

• 发布和订阅消息流，类似于一个消息队列或企业消息系统。
• 以容错持久的方式存储消息流。
• 处理发生的消息流。

Kafka 通常用于两大类应用程序：

• 构建在系统或应用程序之间可靠的获取数据的实时流数据管道。
• 构建转换或响应数据流的实时流应用程序。

为了理解Kafka是如何做到这些的，让我们自下而上的深入探究Kafka的能力。

首先几个概念：

• Kafka 作为一个集群跑在一个或多个服务器上，可以跨多个数据中心。
• Kafka集群将消息流存储在称为主题的分类中。cluster stores streams of records in categories called topics.
• 每条记录由a key, a value, 和 a timestamp组成。

Kafka 有4个核心的 APIs:

• 生产者API允许一个应用发布一个流记录到一个或多个Kafka主题。
• 消费者API允许一个应用订阅一个或多个主题，并且处理生产到这些主题的消息流。
• 流API允许一个应用充当流处理器，消费来自一个或多个主题的输入流，并向一个或多个主题生成输出流，有效转换输入流为输出流。
• 连接器API允许构建和运行可复用的生产者或消费者，将Kafka主题连接到现有的应用程序或数据系统。例如，一个关系型数据库的连接器可以捕获表的所有变更。

Kafka使用简单、高性能、与语言无关的TCP协议完成客户端与服务器之间的通信。该协议维持老版本的向后兼容。我们提供了一个Java客户端，也提供了多种语言的客户端。

Kafka快速入门

1 下载安装

tar -xzf kafka_2.11-1.0.0.tgz

cd kafka_2.11-1.0.0

2 启动服务

bin /zookeeper-server-start .sh config /zookeeper .properties

bin /kafka-server-start .sh config /server .properties

3 create a topic，创建主题

    创建主题test，仅一个分区、一个副本；

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

    列出主题

bin /kafka-topics .sh --list --zookeeper localhost:2181

4 Send some messages，发送消息

bin /kafka-console-producer .sh --broker-list localhost:9092 --topic test

5 Start a cnsumer，启动一个消费者

bin /kafka-console-consumer .sh --bootstrap-server localhost:9092 --topic test --from-beginning

6 Setting up a multi-broker cluster，启动多代理集群

为每个代理创建配置文件

cp config /server .properties config /server-1 .properties

cp config /server .properties config /server-2 .properties

内容如下：

config/server-1.properties:

    broker.id=1

    listeners= PLAINTEXT://:9093

    log.dir=/tmp/kafka-logs-1

 

config/server-2.properties:

    broker.id=2

    listeners= PLAINTEXT://:9094

    log.dir=/tmp/kafka-logs-2