kafka-stream
关注
分享
扫一扫
大树168
现在才明白，要赚到足够令自己安心的钱，才能过上简单、安逸、自由的生活，才能让自己活得更有底气。所以，多花时间努力，少点功夫矫情
github地址
https://github.com/lmchuyang/huyang
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
kafka不同组消费同一主题topic生产者配置
因数涉及到数据的原子性，必须多个分组消费同一消费主题，写入数据库后， 可以自行回回滚数据，重新消费，不影响其它数据消费的目的，实现分批次拉取数据等，也是走了很多坑第一， 是环境兼容性问题，高版本可能更容易实现多分组消费同一主题topic依赖环境 springboot15.0+spring-kafka-1.1.1.RELEASE<parent> <group...原创 2019-12-06 11:30:46 · 7679 阅读 · 0 评论 -
kafka定时任务拉取数据
1 定时任务两种， 2 消费分组消费从哪里开始，不消费历史数据 定时主要是为了延迟拉消费，最简单方式 直接批量拉取之后， ack批量提交后， 线程挂起3秒，更好达到效果 if (kafuKfaUtils.insertFlowdata(jsonarray, map)) { ack.acknowledge(); ...原创 2019-12-04 20:42:56 · 7785 阅读 · 1 评论 -
kafka批量消费手动提交ACK
一次性拉取多条数据，消费后再手动提交ACK，因为要保存到数据库去， 这过程如果失败的话， 需要重新消费这些数据所以 配置的时候，KAFKA不能自动提交 ，批量消费数据设置ENABLE_AUTO_COMMIT_CONFIG=false，禁止自动提交 设置AckMode=MANUAL_IMMEDIATE 监听方法加入Acknowledgment ack 参数package ...原创 2019-11-27 21:08:52 · 8582 阅读 · 8 评论 -
kafka-stream流式处理示例
一 首生是kafka -stream 版本号问题，然后是springboot1.5.6兼容问题，发现springboot2.0不支持kafka -stream1.0.2包第一个是窗口聚合的初始值，第二个是进行聚合的聚合器，第三个就是窗口时间，第四个是类似于序列化的东西KTable aggregate = groupedStream.aggregate(initializer, ag...原创 2019-11-15 15:32:59 · 1247 阅读 · 0 评论