RayfunC的博客

Kafka自带方法：幂等性 +ack-1 + 事务kafka在0.11版新增了幂等型producer和事务型producer。前者解决了单会话幂等性等问题，后者解决了多会话幂等性幂等性: 支持单分区单会话, 分区内数据有序，对照id, 数据有唯一id存在不发送事务: 支持多分区, 数据有唯一id, 和所有分区中比较, 如果存在不发送, 效率低下 (生产环境较少使用, 容易数据挤压, 应更追求效率)保证数据 exactly-once 语义不重复的最佳解决办法:在下一级去重：SparkSt.

概念关键名词解释生产过程分析Broker 保存消息Kafka 集群为什么需要集成 zookeeper消费者组消费方式Consumer API 的使用Producer拦截器(interceptor)Kafka StreamsKafka 与 Flume概念Apache Kafka 是一个开源消息系统，由 Scala 写成，由 LinkedIn 公司开...