
kafka
木木统
Sharing makes the world better!!!
分享让世界更美好!!!
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Kafka如何保证消息不丢失不重复
这是转储的一篇文章,前面是我的总结,如果哪错了希望大家能在评论中指出来首先要考虑这么几个问题:消息丢失是什么造成的,从生产端和消费端两个角度来考虑消息重复是什么造成的,从生产端和消费端两个角度来考虑如何保证消息有序如果保证消息不重不漏,损失的是什么下面是文章详情,这里先简单总结一下:消费端重复消费:很容易解决,建立去重表消费端丢失数据:也容易解决,关闭自动提交...转载 2020-05-03 09:24:47 · 939 阅读 · 0 评论 -
20条关于Kafka集群应对高吞吐量的避坑指南
Apache Kafka是一款流行的分布式数据流平台,它已经广泛地被诸如New Relic(数据智能平台)、Uber、Square(移动支付公司)等大型公司用来构建可扩展的、高吞吐量的、高可靠的实时数据流系统。例如,在New Relic的生产环境中,Kafka群集每秒能够处理超过1500万条消息,而且其数据聚合率接近1Tbps。可见,Kafka大幅简化了对于数据流的处理,因此它也获得了众多应用...转载 2020-05-03 09:12:30 · 919 阅读 · 0 评论 -
Kafka高级API和低级API
Kafka高级API和低级APIKafka消费过程分析kafka提供了两套consumer API:高级Consumer API和低级API。1高级API1)高级API优点高级API写起来简单不需要去自行去管理offset,系统通过zookeeper自行管理不需要管理分区,副本等情况,系统自动管理消费者断线会自动根据上一次记录在zookeeper中的offset...转载 2019-12-24 12:48:07 · 635 阅读 · 0 评论