案例分享——巧用方法排查Broker启动失败原因

 【背景】   

业务同学通过公司内部的Kafka管控平台进行Topic创建完成之后,发现Topic命令不规范,再次通过Kafka管控平台进行Topic删除操作,恰好这时负责Kafka集群运维的同学对某台Broker进行了重启操作,这是很常规的运维操作理论上没有问题,但Broker启动失败了并抛出java.lang.StringIndexOutOfBoundsException: String index out of range: -1

【方法】

根据经验可以采用分层排查漏斗法,一层层进行排查问题,如图:

[1].业务应⽤层 是否使用方式导致的问题呢,比如:流量突增、回溯读、限流、权限等

[2].Kafka框架层 KafkaProducer、KafkaConsumer、Broker相关参数配置的是否合理,比如:请求队列、网络线程数等,框架是否存在Bug,比如:后台线程异常退出、使用过程中抛出异常信息等 [3].JVM运行层 JVM的启动参数配置的是否合理,比如:初始堆、最大堆、线程栈等

[4].操作系统层 CPU、内存、磁盘、网络等硬件是否出现问题，比如:网卡降速、磁盘坏块等，操作系统参数配置的是否合理，比如:网卡多队列绑定、文件描述符等

【定位】

根据出现的问题咱们按照上边的方法进行逐一排除:

[1].通过平台进行常规的Topic创建删除及运维重启不可能导致Broker启动失败并抛出异常，所以排除掉业务应⽤层

[2].常规性运维操作抛出异常信息导致Broker启动失败,根据上边的方法推测可能框架层出现的问题

[3].JVM运行层及操作系统层更不可能了,即便配置的不合理也不可能抛出Java异常

【解决】

经过我们的排查基本上确定是框架层出现