
kafka
AI掘金
【履历】:电子科技大学,系统架构师,10年互联网金融研发、架构经验,互联网大厂全球业务xx板块研发团队负责人
【成就】:完成某独角兽公司支付系统迁移,重构某大厂履约体系,0-1建设某大厂全球合规运营架构
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
kafka是什么?
一、定义Apache Kafka 是一款开源的消息系统。可以在系统中起到“肖峰填谷”的作用,也可以用于异构、分布式系统中海量数据的异步化处理。系统包括四个主要API:Producer API允许一个应用推送流记录通过一个或多个Kafka topics ;Consumer API允许一个应用订阅一个或多个topics 并且处理这些流记录;Streams API允许一个应用作为一...原创 2019-08-04 19:41:00 · 23409 阅读 · 0 评论 -
Kafka无消息丢失实现
一、Kafka 无消息丢失核心概念Kafka 只对“已提交”的消息做有限度的持久化保证。二、生产者程序丢失数据目前Kafka Producer 是异步发送消息,也就是说如果你调用的是 producer.send(msg)这个API,那么它通常会立即返回,但此时你不能认为已经发送成功了。 如果出现消息丢失,我们是无法知晓的, 这种发送方式不靠谱,不过还有一些公司在用这种API发送消息。这种发...原创 2019-08-05 23:11:46 · 1034 阅读 · 0 评论 -
Kafka幂等Producer和事务Producer
一、Kafka 消息交付可靠性Kafka 对Producer和Consumer 需要处理的消息提供三种承诺:最多一次(at most once):消息可能丢失,但绝不会被重发;至少一次(at least once):消息不会丢失,但有可能被重复发送(默认此可靠性);精确一次(at most once):消息不会丢失,也不会被重复发送。目前,Kafka默认提供的交付可靠性保障是第二种,...原创 2019-08-06 00:09:57 · 900 阅读 · 0 评论 -
Kafka生产者消息分区机制剖析
一、为什么要分区?二、有哪些分区策略?原创 2019-08-15 20:58:40 · 1211 阅读 · 0 评论 -
Kafka消费者组是什么?
一、Kafka消费者组是什么?二、Kafka消费者组解决了哪些问题?原创 2019-08-17 14:20:02 · 6309 阅读 · 2 评论