kafka配置文件详解

kafka配置文件详解

上篇文章写了kafka+zookeeper集群的搭建，今天总结一下kafka的配置文件内容,在文章末尾写有全局生产环境的配置文件模板，仅供参考，请各位依照自己的实际环境配置

在kafka/config/下有三个配置文件分别是server.properties producer.properties consumer.properties

一、server.properties服务端全局配置

最为核心的三个配置 broker.id、log.dir、zookeeper.connect 。

broker.id =0
每一个broker在集群中的唯一表示，要求是正数，kafka及其根据id来识别broker机器。当该服务器的IP地址发生改变时，broker.id没有变化，则不会影响consumers的消息情况


log.dirs=/kafka/kafka-logs
kafka数据的存放地址，多个地址的话用逗号分割/kafka/kafka-logs-1，/kafka/kafka-logs-2


port =9092
broker server服务端口


message.max.bytes =6525000
表示消息体的最大大小，单位是字节


num.network.threads =4
broker处理消息的最大线程数，一般情况下不需要去修改


num.io.threads =8
broker处理磁盘IO的线程数，数值应该大于你的硬盘数


background.threads =4
一些后台任务处理的线程数，例如过期消息文件的删除等，一般情况下不需要去做修改


queued.max.requests =500
等待IO线程处理的请求队列最大数，若是等待IO的请求超过这个数值，那么会停止接受外部消息，应该是一种自我保护机制。


host.name
broker的主机地址，若是设置了，那么会绑定到这个地址上，若是没有，会绑定到所有的接口上，并将其中之一发送到ZK，一般不设置


socket.send.buffer.bytes=100*1024
socket的发送缓冲区，socket的调优参数SO_SNDBUFF


socket.receive.buffer.bytes =100*1024
socket的接受缓冲区，socket的调优参数SO_RCVBUFF


socket.request.max.bytes =100*1024*1024
socket请求的最大数值，防止serverOOM，message.max.bytes必然要小于socket.request.max.bytes，会被topic创建时的指定参数覆盖
Kafka中log日志的参数配置


log.segment.bytes =1024*1024*1024
topic的分区是以一堆segment文件存储的，这个控制每个segment的大小，会被topic创建时的指定参数覆盖


log.roll.hours =24*7
这个参数会在日志segment没有达到log.segment.bytes设置的大小，也会强制新建一个segment会被 topic创建时的指定参数覆盖


log.cleanup.policy = delete
日志清理策略选择有：delete和compact主要针对过期数据的处理，或是日志文件达到限制的额度，会被 topic创建时的指定参数覆盖


log.retention.minutes=3days
数据存储的最大时间超过这个时间会根据log.cleanup.policy设置的策略处理数据，也就是消费端能够多久去消费数据


log.retention.bytes和log.retention.minutes任意一个达到要求，都会执行删除，会被topic创建时的指定参数覆盖


log.retention.bytes=-1
topic每个分区的最大文件大小，一个topic的大小限制 =分区数*log.retention.bytes。-1没有大小限log.retention.bytes和log.retention.minutes任意一个达到要求，都会执行删除，会被topic创建时的指定参数覆盖


log.retention.check.interval.ms=5minutes
文件大小检查的周期时间，是否处罚 log.cleanup.policy中设置的策略


log.cleaner.enable=false
是否开启日志压缩


log.cleaner.threads = 2
日志压缩运行的线程数


log.cleaner.io.max.bytes.per.second=None
日志压缩时候处理的最大大小


log.cleaner.dedupe.buffer.size=500*1024*1024
日志压缩去重时候的缓存空间，在空间允许的情况下，越大越好


log.cleaner.io.buffer.size=512*1024
日志清理时候用到的IO块大小一般不需要修改


log.cleaner.backoff