hanqiuting的专栏

1、Kafka相关概念 1.1 topic 是消息归纳的基本单位，是一个逻辑概念。 kafka中消息按照topic进行归纳，也就是分类，同一类消息放在同一个topic中，如日志可以有业务A日志，有业务B日志，那么针对业务A和业务B的日志可以建两个topic。一个topic对应多个partition。 1.2  producer 生产者，负责产生消息 1.3 consumer 消费者，负责消费

最近项目中用到了flume技术，flume也看过很多文档，但是一直感觉掌握不牢，有人曾说如果想深刻记住一个知识点就把它写出来，因此就出现了这篇博客。         Flume是一种分布式的可靠的服务，它能有效地采集、汇聚及传输大数据。     1、Flume的基本概念      source 主要是用来从源端采集数据，并传输到channel      channel 主要是缓存sourc