kafka
关注
分享
扫一扫
NewBee.Mu
这个作者很懒，什么都没留下…
展开
-
怎么保证Kafka的数据不乱序
就是保证生产者生产的数据和消费者消费的数据，顺序是一模一样的。首先看数据需不需要有序如果必须有序可以设置大分区，因为Kafka是分区内有序。如果数据量特别大，可以在生产者生产数据的时候记录偏移量，偏移量文件是有序的，然后按照偏移量文件的顺序读取数据（效率极低）...原创 2019-11-19 21:10:08 · 845 阅读 · 0 评论 -
flume使用taildir，监控多个文件夹下的多个文件
在flume1.6版本及之前，如果想要监控多个目录下的多个文件，可以使用Filelistener，在flume1.7之后，增加了TAILDIR，主要是监控文件的变化下面介绍taildir的使用：第一步：在flume中创建conf配置文件，我的是创建在：flume下的job文件夹中，job文件夹是我自定义的用来存放conf配置文件的：/opt/module/flume/job/flume-fi...原创 2019-11-14 09:10:07 · 1990 阅读 · 0 评论 -
flume自定义source，且kafka代替channel，实现flume往kafka传递数据
在使用flume收集数据时，有时候需要我们自定义source，而官方给的案例，有时也不能满足我们的需要，下面的案例是仿照源码的架构编写的。下面的案例是：自定义source，用kafka代替channel，因为我们的目标就是，通过flume将数据采集到kafka，这样省去了从channel到sink的过程，提升了效率，而自定义source是为了防止重复传递数据。代码如下，在代码中有备注解释：p...原创 2019-11-14 00:30:23 · 651 阅读 · 0 评论