youyou263的博客

现场童鞋说客户的研发环境突然在近期间歇式的收到了CRC的相关异常，异常内容如下报错完全没有规律性，有可能半天都不出现一次，也有可能一小时出现2、3次而这个报错会导致Kafka的Consumer hang死，即无法继续消费后续的消息，只能手动重启Consumer才能继续，是非常严厉的报错，会直接导致生产不可用另外，我们部署的供内部云平台组建使用的Kafka也会出现这种报错。

因为是线上服务，而且进程还在，就是不提供服务了，第一反应就是保留一下 stack 信息，先重启吧。Arthas 是一款线上监控诊断产品，通过全局视角实时查看应用 load、内存、gc、线程的状态信息，并能在不修改应用代码的情况下，对业务问题进行诊断，包括查看方法调用的出入参、异常，监测方法执行耗时，类加载信息等，大大提升线上问题排查效率。对于这些操作，都需要线程的各种信息，例如寄存器中到底有啥，堆使用信息以及栈方法代码信息等等等等，并且做这些操作的时候，线程需要暂停，等到这些操作完成，否则会有并发问题。

Kafka常用的一些命令。

2022年某天，我还在happy的看着电影。突然，手上握着的红米手机响起了周杰伦《回到过去》的铃声。哟，现场童鞋又来电话了，一接听电话，就响起了比较焦急的声音，“哥，现场有个Kafka集群创建不了topic了，赶紧帮忙看下！”，不爽，今天是周六，本来休息的时间，但是谁叫咱们有现场问题呢！

如果开启分区自动平衡的功能， 则Kafka的控制器会启动一个定时任务， 这个定时任务会轮询所有的broker节点， 计算每个broker节点的分区不平衡率(broker中的不平衡率＝非优先副本的leader个数／分区总数）是否超过leader.imbalance.per.broker.percentage参数配置的比值，默认值为10%, 如果超过设定的比值则会自动执行优先副本的选举动作以求分区平衡。unclean.leader.election.enable，是否允许非isr的副本参加选举。

Kafka acl cidr

一般来说，一个kafka集群中，总的partitions数不应该超过3000，针对大流量的topic，建议一个消费组对应一个topic，而partition至少保证一个磁盘上放一个partition，比如12块盘，那就创建12个partition的topic，kafka会自动将parition目录均匀分配到各个磁盘，前提是kafka配置了多目录挂载多磁盘。，默认10 sec）。3、磁盘是否足够，若磁盘大小或磁盘IO满足不了流量要求，会造成io等待时延，从而影响kafka的处理速度，客户端会出现超时的报错。

producer与consumer生产和消费都是使用topic来进行订阅和发布的，使用的是kafka client自带的分区策略方法，而当前场景需要分区策略分配生产者和消费者本机node上的partition，因此，需要修改partition分区的策略方法，优先访问本机node的partition，当本机当前topic没有该partition leader时，才选择其他节点的partition。producer Partitioner复写，只允许发送到本node的leader。producer配置。