- 博客(3)
- 收藏
- 关注
RSS订阅转载 Kafka生产者幂等机制
Producer简而言之，Producer就负责往Topic里发送数据，或者说写入数据。换言之，就是往组成这个Topic的一至多个Partition里写入数据。这里有三点需要注意：我们只需要通过Producer产生数据，往Topic里塞既可。Producer会自动去选择正确的、合适的Broker和Partition持久化数据。 Producer默认采用轮询的机制选择Broker往Partition里持久化数据的。 如果其中有一个Broker挂了，当它再恢复时，Producer会自动接纳它。
2021-11-28 18:55:02
418
原创 kafka-python的部分api详解
1.生产者属性bootstrap.servers:该属性指定broker的地址清单，地址格式为host:port。清单里不需要包含所有的broker地址，生产者会从给定的broker中查找到其他的broker的信息。不过建议 至少要提供两个broker信息，一旦其中一个宕机，生产者仍然能连接到集群上。key_serializer (callable) – used to convert user-supplied keys to bytes If not None, called as f(k.
2021-11-28 16:51:37
1929
转载 kafka防止消息丢失
Kafka消息保证生产的信息不丢失和重复消费问题1）使用同步模式的时候，有3种状态保证消息被安全生产，在配置为1（只保证写入leader成功）的话，如果刚好leader partition挂了，数据就会丢失。2）还有一种情况可能会丢失消息，就是使用异步模式的时候，当缓冲区满了，如果配置为0（还没有收到确认的情况下，缓冲池一满，就清空缓冲池里的消息），数据就会被立即丢弃掉。在数据生产时避免数据丢失的方法：只要能避免上述两种情况，那么就可以保证消息不会被丢失。1）就是说在同步模式的时候，确认机制设置
2021-11-28 15:26:50
545
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人