kafka java示例

http://blog.youkuaiyun.com/hxpjava1/article/details/19160665

http://shift-alt-ctrl.iteye.com/blog/1930791

1) Producer端使用zookeeper用来"发现"broker列表,以及和Topic下每个partition leader建立socket连接并发送消息.

    2) Broker端使用zookeeper用来注册broker信息,已经监测partition leader存活性.

    3) Consumer端使用zookeeper用来注册consumer信息,其中包括consumer消费的partition列表等,同时也用来发现broker列表,并和partition leader建立socket连接,并获取消息.

 

一.Zookeeper集群构建

    我们有3个zk实例，分别为zk-0,zk-1,zk-2;如果你仅仅是测试使用，可以使用1个zk实例.

    1) zk-0

    调整配置文件：

Php代码  

1. clientPort=2181  
2. server.0=127.0.0.1:2888:3888  
3. server.1=127.0.0.1:2889:3889  
4. server.2=127.0.0.1:2890:3890  
5. ##只需要修改上述配置，其他配置保留默认值  

    启动zookeeper

Java代码  

1. ./zkServer.sh start  

    2) zk-1

    调整配置文件(其他配置和zk-0一只)：

Php代码  

1. clientPort=2182  
2. ##只需要修改上述配置，其他配置保留默认值  

    启动zookeeper

 

Java代码  

1. ./zkServer.sh start  

    3) zk-2

    调整配置文件(其他配置和zk-0一只)：

Php代码  

1. clientPort=2183  
2. ##只需要修改上述配置，其他配置保留默认值  

    启动zookeeper

 

Java代码  

1. ./zkServer.sh start  

  

二. Kafka集群构建

    因为Broker配置文件涉及到zookeeper的相关约定，因此我们先展示broker配置文件.我们使用2个kafka broker来构建这个集群环境，分别为kafka-0,kafka-1.

    1) kafka-0

    在config目录下修改配置文件为：

Java代码  

1. broker.id=0  
2. port=9092  
3. num.network.threads=2  
4. num.io.threads=2  
5. socket.send.buffer.bytes=1048576  
6. socket.receive.buffer.bytes=1048576  
7. socket.request.max.bytes=104857600  
8. log.dir=./logs  
9. num.partitions=2  
10. log.flush.interval.messages=10000  
11. log.flush.interval.ms=1000  
12. log.retention.hours=168  
13. #log.retention.bytes=1073741824  
14. log.segment.bytes=536870912  
15. ##replication机制,让每个topic的partitions在kafka-cluster中备份2个  
16. ##用来提高cluster的容错能力..  
17. default.replication.factor=1  
18. log.cleanup.interval.mins=10  
19. zookeeper.connect=127.0.0.1:2181,127.0.0.1:2182,127.0.0.1:2183  
20. zookeeper.connection.timeout.ms=1000000  

    因为kafka用scala语言编写，因此运行kafka需要首先准备scala相关环境。

Java代码  

1. > cd kafka-0  
2. > ./sbt update  
3. > ./sbt package  
4. > ./sbt assembly-package-dependency   

    其中最后一条指令执行有可能出现异常，暂且不管。 启动kafka broker：

Java代码  

1. > JMS_PORT=9997 bin/kafka-server-start.sh config/server.properties &  

    因为zookeeper环境已经正常运行了，我们无需通过kafka来挂载启动zookeeper.如果你的一台机器上部署了多个kafka broker，你需要声明JMS_PORT.

    2) kafka-1

Java代码  

1. broker.id=1  
2. port=9093  
3. ##其他配置和kafka-0保持一致  

    然后和kafka-0一样执行打包命令，然后启动此broker.

Java代码  

1. > JMS_PORT=9998 bin/kafka-server-start.sh config/server.properties &  

    仍然可以通过如下指令查看topic的"partition"/"replicas"的分布和存活情况.

Java代码  

1. > bin/kafka-list-topic.sh --zookeeper localhost:2181  
2. topic: my-replicated-topic  partition: 0    leader: 2   replicas: 1,2,0 isr: 2  
3. topic: test partition: 0    leader: 0   replicas: 0 isr: 0   

    到目前为止环境已经OK了,那我们就开始展示编程实例吧。[配置参数详解]