Kafka
关注
分享
扫一扫
念雅小轩
这个作者很懒，什么都没留下…
展开
-
Kafka背景及架构介绍
本文介绍了Kafka的创建背景，设计目标，使用消息系统的优势以及目前流行的消息系统对比。并介绍了Kafka的架构，Producer消息路由，Consumer Group以及由其实现的不同消息分发方式，Topic & Partition，最后介绍了Kafka Consumer为何使用pull模式以及Kafka提供的三种delivery guarantee。转载 2017-11-03 16:49:43 · 420 阅读 · 0 评论 -
Spark Streaming获取kafka数据的两种方式
Spark Streaming 支持多种实时输入源数据的读取，其中包括Kafka、flume、socket流等等。除了Kafka以外的实时输入源，由于我们的业务场景没有涉及，在此将不会讨论。本篇文章主要着眼于我们目前的业务场景，只关注Spark Streaming读取Kafka数据的方式。转载 2017-11-03 13:44:16 · 5688 阅读 · 1 评论