iUcool的博客

本文为阅读笔记kafka通过利用分区来在多个队列中分配消息来实现并行性。然而每条消息都有不同的处理负载，也具有不同的消费速率，这样就有可能负载不均衡，从而使得瓶颈、延迟问题和整体系统不稳定，进而导致额外的维护工作或额外的资源分配。在 Kafka 中，分区器和分配器策略会影响消息分发。Producer 分区器Consumer 分配器这些策略都是基于两个主要的假设。

excel导入就是将excel里面的数据转换组织形式，对数据库表进行映射更改。

如果采用消费者ack的模式，也就是消费者消费完成之后发送确定消息，那么如果消费者在发送ack的时候也失败了，这就会导致重复消费问题。很可惜，kafka最多只能支撑生产者不发送重复的消息，如果是上述场景中消费者没有ack成功导致的重复消费，还是要进行额外幂等处理的。如果broker在发送消息后，立刻认为消息已经被消费了，那么在传输未到达等原因引发的消费未处理情况会使得这样的认为并不正确。为了避免这些问题，kafka将消息划分到有序的分区中，那么只要记录每个分区被每个消费者组消费数据即可。