kafka service.xml配置

# broker在集群中的唯一标识(>=0),当该服务器的IP地址发生改变时，broker.id没有变化，不会影响consumers
broker.id =0
# kafka数据的存放地址，多个地址的话用逗号分割 /opt/log/kafka/logs1，/opt/log/kafka/logs2
log.dirs=/opt/log/kafka/logs
# broker server服务端口
port =9092
# 是否允许自动创建topic，若是false，就需要通过命令创建topic
auto.create.topics.enable =true
# 每个topic的分区个数，若是在topic创建时候没有指定的话会被topic创建时的指定参数覆盖
num.partitions =10
# 表示消息体的最大大小，单位是字节
message.max.bytes =6525000
# broker处理消息的最大线程数，一般情况下不需要去修改
num.network.threads =4
# broker处理磁盘IO的线程数，数值应该大于你的硬盘数
num.io.threads =8
# 一些后台任务处理的线程数，例如过期消息文件的删除等，一般情况下不需要去做修改
background.threads =4
# 等待IO线程处理的请求队列最大数，若是等待IO的请求超过这个数值，那么会停止接受外部消息，是一种自我保护机制。
queued.max.requests =500
# socket的发送缓冲区，socket的调优参数SO_SNDBUFF
socket.send.buffer.bytes=100*1024
# socket的接受缓冲区，socket的调优参数SO_RCVBUFF
socket.receive.buffer.bytes =100*1024
# socket请求的最大数值，防止serverOOM，message.max.bytes必然要小于socket.request.max.bytes，会被topic创建时的指定参数覆盖
socket.request.max.bytes =100*1024*1024
​
# *******************以下为日志定时清除策略***********************
# 设置每个segment的大小为200*1024*1024 【200M】,超过大小重新创建新的segment
log.segment.bytes=209715200 
# 日志清理策略选择有：delete和compact主要针对过期数据的处理，delete 为不可恢复；compact 为压缩
log.cleanup.policy = delete 
# 每5分钟【5*60*1000】检查一次是否有segment已经超过5h没更新，如果有则标记为.deleted
log.retention.check.interval.ms=300000
log.retention.hours=5  
# topic每个分区的最大文件大小5G，一个topic的大小限制 = 分区数*log.retention.bytes。-1没有大小限,log.retention.bytes和log.retention.hours 任意一个达到要求，都会执行删除(标记为.deleted)
log.retention.bytes=5368709120 
# 10分钟检查一次是否有被 标记为deleted的segment，如果有将其从文件系统删除
log.cleaner.backoff.ms=600000
​
​
# 对于压缩的日志保留的最长时间，也是客户端消费消息的最长时间，同log.retention.minutes/hours的区别在于一个控制未压缩数据，一个控制压缩后的数据。会被topic创建时的指定参数覆盖
log.cleaner.delete.retention.ms =1day
# 是否开启日志压缩
log.cleaner.enable=false
# 日志压缩运行的线程数
log.cleaner.threads = 2
# 日志压缩时候处理的最大大小
log.cleaner.io.max.bytes.per.second=None
# 日志压缩去重时候的缓存空间，在空间允许的情况下，越大越好
log.cleaner.dedupe.buffer.size=500*1024*1024
# 对于segment日志的索引文件大小限制，会被topic创建时的指定参数覆盖
log.index.size.max.bytes =10*1024*1024
​

其他参数使用默认的即可