Kafka入门

1.安装与启动

1.1 zookeeper安装

Kafka需要依赖Zookeeper才能运行。

1)登录主机，执行以下命令，下载并解压Zookeeper

$ cd /opt $ wget http://mirrors.cnnic.cn/apache/zookeeper/zookeeper-3.4.6/zookeeper-3.4.6.tar.gz  $ gzip -d zookeeper-3.4.6.tar.gz  $ tar -xvf zookeeper-3.4.6.tar

(2)进入conf目录，将示例的配置文件zoo_sample.cfg改名为zoo.cfg，作为我们的配置文件使用，命令如下

$ cd zookeeper-3.4.6/conf $ mv zoo_sample.cfg zoo.cfg

(3)进入bin目录，执行zkServer.sh的start命令启动Zookeeper服务

$ cd .. $ cd bin $ ./zkServer.sh start

(4)提示以下内容，启动成功

JMX enabled by default Using config: /opt/zookeeper-3.4.6/bin/../conf/zoo.cfg Starting zookeeper ... STARTED

这时我们以默认的配置启动了Zookeeper服务，使用的是2181端口。

有关Zookeeper的相关知识，这里不做赘述。

1.2  Kafka的安装与启动

(1)登录主机，执行以下命令，下载并解压Kafka

$ cd /opt $ wget http://mirrors.cnnic.cn/apache/kafka/0.9.0.1/kafka_2.11-0.9.0.1.tgz $ gtar xvzf kafka_2.11-0.9.0.1.tgz

(2)修改kafka_2.11-0.9.0.1/config目录下的server.properties文件，找到zookeeper.connect一项，修改为tc-host的地址，如下：

zookeeper.connect=localhost:2181

注意，默认是访问本机上部署的Zookeeper，由于我们是将zookeeper部署在另一台主机上，所以要修改地址。

(3)执行bin目录下的kafka-server-start.sh命令启动Kafka，以server.properties文件作为参数，启动Kafka

$ cd kafka_2.11-0.9.0.1 $ ./bin/kafka-server-start.sh ./config/server.properties &

命令后面的&符号是将启动的Kafka服务设置为后台进程，方便我们进一步的操作。

终端输出一系列的日志以后，启动成功。

...... [2016-05-25 19:53:06,410] INFO Registered broker 0 at path /brokers/ids/0 with addresses: PLAINTEXT -> EndPoint(tc-newhost.office.mos,9092,PLAINTEXT) (kafka.utils.ZkUtils) [2016-05-25 19:53:06,423] INFO Kafka version : 0.9.0.1 (org.apache.kafka.common.utils.AppInfoParser) [2016-05-25 19:53:06,423] INFO Kafka commitId : 23c69d62a0cabf06 (org.apache.kafka.common.utils.AppInfoParser) [2016-05-25 19:53:06,424] INFO [Kafka Server 0], started (kafka.server.KafkaServer) [2016-05-25 19:53:06,713] INFO [ReplicaFetcherManager on broker 0] Removed fetcher for partitions [test,0],[test2,0],[tes,0] (kafka.server.ReplicaFetcherManager) [2016-05-25 19:53:06,763] INFO [ReplicaFetcherManager on broker 0] Removed fetcher for partitions [test,0],[test2,0],[tes,0] (kafka.server.ReplicaFetcherManager)

1.3 简单功能验证

Kafka成功启动后，可以通过一些简单的命令来验证一下功能。

(1)创建一个名为test的topic

$./bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

(2)查询topic的属性

$./bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic test

(3)生产者连接broker发送消息

$./bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test hello

在终端执行该命令后，会进入到一个连续输入的状态，输入一条消息后，按回车换行，可以直接输入下一条消息，直到按下Control+C结束这个状态。

(4)消费者获取消息

$./bin/kafka-console-consumer.sh --zookeeper localhost:2181 --from-beginning --topic test hello

消费者获取消息成功，至此，说明一个基本的Kafka环境安装并启动成功了。

1.4  启动命令与配置文件

$./bin/kafka-server-start.sh ./config/server.properties &

启动命令是以配置文件为参数，按照相关的配置来启动的。server.properties是默认的配置文件，几个比较常用的配置项包括：

(1)broker.id  broker的id号

(2)port  端口

(3)zookeeper.connect  zookeeper的连接地址

(4)log.dirs  日志的目录

1.5  topic相关的参数与返回信息

上文在演示topic相关的命令时，输入与输出如下：

$./bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test $./bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic test  Topic:test PartitionCount:1    ReplicationFactor:1 Configs:     Topic: test Partition: 0    Leader: 0   Replicas: 0 Isr: 0

create命令的replication-factor是设置该topic在多少个broker上存储。

describe命令的返回信息中，罗列了所有partition的信息，其中：

(1)Partition是编号

(2)Leader是一个broker的编号，该broker存储了当前partition，并且被选举为broker列表中的Leader。在Kafka中，只有Leader节点会负责消息的读和写，其他broker只是做备份

(3)Replicas是存储了该partition的broker列表

(4)Isr是当前可用的broker列表

2.Kafka文件存储机制

参考：http://tech.meituan.com/kafka-fs-design-theory.html