weixin_41431016的博客

问题描述第一次出现是在操作完A号broker的重启后，13号broker的网络线程idle走低一直到14号发起了一次重均衡（触发leader选举）之后13号（对应下图灰色实例）的broker网络线程idle恢复，转而1号broker（对应下图黄色实例）的网络线程idle开始走低分析过程各个broker间的流量没有差异，和network idle match的是broker进程cpu usage，接着看cpu上线文切换也match再看网络连接虽然有差异，但是蓝色的broker比黄色的broke

先来简单看一下一个应用启动后在操作系统中是如何运行的：程序启动后其一系列的指令和数据被加载到内存中，程序可以实现为单线程也可以是多线程或者多进程，只不过进程间的内存空间是独享的，而线程间是共享的，除了一些栈和指令独享外（这里以线程为例）；内核调度器负责将线程分配给cpu，如果是多线程且数量大于cpu核数，则多个线程可能会被同时被分配到一同一个cpu核上，cpu通过总线访问内存中线程的指令和数据，将内存中的数据页拷贝到自己的缓存中，待执行的指令放到寄存器中，算数逻辑单元负责计算逻辑，指令中存放当前线程正

线上遇到某个kafka集群中的某个broker的network线程的Idle远远低于其他的broker，以下是分析思路和过程网络连接监控视图查看tcp连接统计$ netstat -t -n |grep -oP '\w+\s*$'|sort |uniq -c 2620 ESTABLISHED 1 State 219 TIME_WAIT $ ss -sTotal: 5066 (kernel 0)TCP: 4773 (estab 2781, closed 1.