kafka同一个topic和gruopid下的双flume客户端消费测试

业务场景：单个flume客户端无法消费某个数据量很大的topic，因此起两个flume去消费同一个topic

数据流：kafka--->flume---->oss(阿里云的分布式存储服务，可以是hdfs)

01.conf 和 02.conf配置的topic和group.id以及数据存储路径都保持一致，不同的是文件前缀

 01.conf配置

02.conf配置

我这边在kafka的生产端生产了少量的数据，oss中的数据为

经查看数据，可以确定两个flume客户端完整的消费了所有数据，无重复消费和漏消费