RayfunC的博客

Kafka自带方法：幂等性 +ack-1 + 事务 kafka在0.11版新增了幂等型producer和事务型producer。前者解决了单会话幂等性等问题，后者解决了多会话幂等性 幂等性: 支持单分区单会话, 分区内数据有序，对照id, 数据有唯一id存在不发送 事务: 支持多分区, 数据有唯一id, 和所有分区中比较, 如果存在不发送, 效率低下 (生产环境较少使用, 容易数据挤压, 应更追求效率) 保证数据 exactly-once 语义不重复的最佳解决办法: 在下一级去重：SparkSt.

概念 关键名词解释 生产过程分析 Broker 保存消息 Kafka 集群为什么需要集成 zookeeper 消费者组 消费方式 Consumer API 的使用 Producer拦截器(interceptor) Kafka Streams Kafka 与 Flume 概念 Apache Kafka 是一个开源消息系统，由 Scala 写成，由 LinkedIn 公司开...