问题排查之JVM内存泄漏

浅聊 kafka-如何保证生产数据不丢失方案？可用简单前述直接上方案 前述 kafka数据在生产的时候，出现数据丢失的情况，在我前面的文章中有说到，如果有不清楚的，可以去翻一翻，这篇适合有一定kafka使用经验的读者，并且这里只做方案，就不对细节进行说明啦，有疑问不清楚的，咱们评论区见，感谢。 该方案适合对消息有序性无要求，但需要保证消息完整性的场景。 直接上方案 一.为提高生产速度，send采用异步发送生产。 二.Ack设置为all，也就是当所有节点都返回确认信息后，才是成功 三.将kafka生产者的

kafka之浅谈如何去保证数据不重复消费 一。背景：上游数据流，将数据推入kafka中，作为消费者，消费数据并进行处理，对于交易数据，非常敏感，不能出现重复，在消费这一过程中，如何去保证我们不会去重复消费数据。 二。导致数据重复消费的原因一般有： 1.数据消费处理成功（落地入库，或者各种处理成功），向kafka中提交偏移量时，由于宕机，或者断网之类的失败了，这时候其实相对与系统来说，这笔数据已经是处理过了，就会出现重复数据。 2.一般是有新的消费者加入之类的，发生了再均衡，导致数据重发消费。 三。项目使用真