cigg153的博客

00 背景 在实际开发过程中，会遇到希望将采集的数据进入到kafka主题的同一分区中的需求场景，为消费者消费数据提供便利，例如，同一会员的消费信息、浏览信息等等。 此篇主题是探讨flume采集的数据如何进入到kafka主题的同一分区，并且希望能够在为类似需求场景提供解决方案的时候，提供可复制的思路，起到举一反三的效果。 01 工具 flume官网 flume源码 kafka集群 flume 0...

Storm应用场景—作为新消费者对接Kafka 0.10.x+版本（一） 00 背景 随着Kafka版本的升级，Storm作为消费者对接Kafka 0.10.x+版本的方式上，与之前存在差异，现将新的方式记录下来，为以后遇到使用Storm实时处理新版Kafka数据的场景时提供参考。 01 架构简介 架构如下图所示。 使用Flume组件采集数据时，采用双层架构，第一层的作用是采集，第二层的作用是聚...