kafka初认识

集群配置

修改配置文件server.properties（在两台或多台上做同样的处理 broker.id 分别配0 1 2 三台 ）

broker.id =0 当前机器序号0
num.io.threads=2
若log.dir有多个目录，那么该配置数应大于目录数，性能好一些
log.dir
消息持久化的目录，多个目录可用逗号隔开
持久化的时候，看哪个目录分区数最少，就放哪个
socket.send.buffer.bytes
发送缓存区大小
socket.receive.buffer.bytes
接收缓存区大小
socket.request.max.bytes
向kafka请求消息/发送消息 请求的最大数，不能超过java的堆栈大小
num.partitions
2 默认一个topic两个分区
log.retention.hours
消息在kafka上的有效期 默认168 7天

新增的几个配置:
message.max.byte
消息的大小
replica.fetch.max.bytes
消息的大小
default.replication.factor
副本的数量 2 两个副本

log.segment.bytes
消息持久化文件的最大大小

log.retention.check.interval.ms
每隔多长时间检查一下 是否有失效的消息

log.clear.eable
false 是否启用log压缩 这个配置很傻 一般不用

zookeeper.connect
zk集群的地址

启动

测试

根据官方文档验证 集群是否搭建成功

日志

kafka集群中controller的日志
server.log kafka的运行日志
state-change.log 状态切换日志，当zk的master有变更时

查看zk的目录

使用zk客户端连接zk

上面除了zookeeper目录，其他的都是kafka的目录，查看：

重要配置

consumer.properties

producer.properties

1. metadata 默认读server.properties的配置
2. producer.type
一般量小不用改
3. compression.codec
是否压缩
4. 序列化的类
可自己重写