flume自定义source,且kafka代替channel,实现flume往kafka传递数据
在使用flume收集数据时,有时候需要我们自定义source,而官方给的案例,有时也不能满足我们的需要,下面的案例是仿照源码的架构编写的。下面的案例是:自定义source,用kafka代替channel,因为我们的目标就是,通过flume将数据采集到kafka,这样省去了从channel到sink的过程,提升了效率,而自定义source是为了防止重复传递数据。代码如下,在代码中有备注解释:p...
原创
2019-11-14 00:30:23 ·
651 阅读 ·
0 评论