kafka service端配置参数和监控指标

Kafka 配置参数统计

kafka参数项	解释	默认值
broker.id	服务的brokerId
message.max.bytes	服务可以接受的最大的消息体大小	1000000+4（MessageSizeLength）+8（OffsetLength）
num.network.threads	server端用于处理网络请求的线程数	3
num.io.threads	server端用于传输网络请求数据的线程数	8
background.threads	server端后台服务线程数	10
queued.max.requests	server端允许的最大请求队列数	500
port	服务监听的端口号	9092
host.name	服务所在机器的hostname
advertised.host.name	服务所在机器的对公网提供服务时hostname详情	hostName(默认内网一致)
advertised.port	服务所在机器的对公网提供服务时port	port（默认内网一致）
socket.send.buffer.bytes	socket的发送缓冲区（SO_SNDBUFF）	100 * 1024
socket.receive.buffer.bytes	socket的接受缓冲区（SO_RCVBUFF）	100 * 1024
socket.request.max.bytes	socket可以接受的最大请求字节数（message.max.bytes必定小于该值）	100 * 1024 * 1024
max.connections.per.ip	来自单台机器的最大连接数	Int.MaxValue
connections.max.idle.ms	连接最大的闲置时间	10 * 60 * 1000L
num.partitions	topic的分区个数	1
log.dirs	kafka log的存储目录	/tmp/kafka-logs
log.segment.bytes	单log文件最大的size	1* 1024* 1024* 1024
log.roll.ms/log.roll.hours	log文件的滚动时间	24H
log.retention.ms/log.retention.minutes/log.retention.hours	log保留的时间长度	24H
log.retention.bytes	保留的log记录size	-1
log.retention.check.interval.ms	log管理的检查间隔	5* 60* 1000
log.cleanup.policy	log cleanup 的策略	delete
log.cleaner.threads	log cleanup 的线程数	1
log.cleaner.io.max.bytes.per.second	log 清理每秒的IO限制	Double.MaxValue
log.cleaner.dedupe.buffer.size	用于log分割的总内存数（平均下来每个线程至少1MB）	500 * 1024 * 1024L
log.cleaner.io.buffer.size	log cleanup io buffer的最大限制	512* 1024
log.cleaner.io.buffer.load.factor	log 切割的因子	0.9d
log.cleaner.enable	log cleaner 服务是否开启	false
log.index.size.max.bytes	对于segment日志的索引文件大小限制	10* 1024* 1024
auto.create.topics.enable	是否允许自动创建topic ，若是false，就需要通过命令创建topic	true
min.insync.replicas	最小的同步副本数	1
controller.socket.timeout.ms	partition management controller与replicas之间通讯的超时时间	30000
controller.message.queue.size	controller与replicas通信的队列size	Int.MaxValue
default.replication.factor	topic默认分区的replication个数	1
replica.lag.time.max.ms	follower与controller非同步的最长时间，超时即踢出ISR	10000
replica.lag.max.messages	follower与controller非同步的messages数量，超出即踢出ISR	4000
replica.socket.timeout.ms	follower与controller同步的socket超时时间	30 * 1000
replica.socket.receive.buffer.bytes	follower与controller同步的socket可以接受的最大字节数	64 * 1024
replica.fetch.max.bytes	follower与controller每次同步的最大字节数	64 * 1024
replica.fetch.wait.max.ms	follower与controller每次同步等待的最大时间	500
replica.fetch.min.bytes	follower与controller每次同步最少的数据量，同步数据不够就等待	1
num.replica.fetchers	number of fetcher threads used to replicate messages from a source broker	1
replica.high.watermark.checkpoint.interval.ms	每个replica将最高水位进行flush的时间间隔	5000L
auto.leader.rebalance.enable	是否自动平衡broker之间的分配策略	true
leader.imbalance.per.broker.percentage	leader的不平衡比例，若是超过这个数值，会对分区进行重新的平衡	10
leader.imbalance.check.interval.seconds	是否自动平衡broker之间的分配策略	true
unclean.leader.election.enable	是否开通非ISR下partition的选举	true
controlled.shutdown.max.retries	controller关闭前最大的尝试次数	3
controlled.shutdown.retry.backoff.ms	每次尝试关闭的时间间隔	5000
offset.metadata.max.bytes	offset提交关联的元数据项的最大大小	4096
offsets.load.buffer.size	offset加载到内存的大小	5* 1024* 1024
offsets.topic.replication.factor	offset.topic这个特殊topic的副本数	3
offsets.topic.num.partitions	offset.topic这个特殊topic的partition的个数	50
offsets.topic.segment.bytes	offset.topic 的segmet的大小，应该保持相对较小，以便于更快的日志压缩和缓存负载	100* 1024* 1024
offsets.topic.compression.codec	offset.topic 的压缩方式	“none”
offsets.retention.minutes	offset 过期时间	24 * 60
offsets.commit.timeout.ms	offset commit 超时时间	24 * 60
delete.topic.enable	topic 删除是否开启(admin tool 不受该参数影响)	false

Kafka 监控指标 metrice

kafka监控项	解释
NumLogSegments	topic partition 下的logSegment的个数
LogStartOffset	topic partition 下logSegment的最小的offset
LogEndOffset	topic partition 下logSegment的最大的offset
Size	topic partition 下所有logSegment占用的空间（单位byte）
NetworkProcessorAvgIdlePercent	broker process处理请求线程的线程平均闲置时间TimeUnit.NANOSECONDS百分位
IdlePercent	broker process处理请求线程的线程每个线程的闲置时间
ResponsesBeingSent	broker process处理请求线程的线程写入次数
RequestQueueSize	broker 请求队列的长度
ResponseQueueSize	broker 响应的请求队列的长度
ResponseQueueSize	broker 每个线程响应的请求队列的长度
ResponseSendTimeMs	time to send the response to the requester
ResponseQueueTimeMs	time a response spent in a response queue
RemoteTimeMs	time a request takes to wait on remote brokers (only relevant to fetch and produce requests)
RequestQueueTimeMs	time a request spent in a request queue
RequestsPerSec	每秒请求量