如何在spark-streaming中获取通过kafka传递的flume信息header

最新推荐文章于 2023-03-23 10:08:05 发布

a95473004

最新推荐文章于 2023-03-23 10:08:05 发布

阅读量4.1k

点赞数 2

CC 4.0 BY-SA版权

分类专栏： Spark 文章标签： spark

本文链接：https://blog.youkuaiyun.com/a95473004/article/details/53896791

本文介绍了如何在Spark-Streaming应用中获取通过Kafka传递的Flume事件的Header信息。在flume+kafka+spark-streaming的流式计算架构中，通常Spark只能获取消息正文，但有时需要处理Header中的额外信息，如timestamp和host。通过特定的配置和核心代码，可以实现这一功能。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

标题好长。。。好复杂。。。

flume+kafka+spark-streaming，应该说这一套架构已经成为流式计算的标配了。

如何整合我这里就不赘述了。

上几个配置文件好了

a1.sources = r1
a1.channels = c1
a1.sinks=k1

a1.sources.r1.type = TAILDIR
a1.sources.r1.channels = c1
a1.sources.r1.positionFile = /work/onedesk/bidlog/apache-flume-1.7.0-bin/taildir_position.json
a1.sources.r1.filegroups = f1 f2 f3
a1.sources.r1.filegroups.f1 = /work/onedesk/bidlog/bid.tmp
a1.sources.r1.headers.f1.topic = bid
a1.sources.r1.filegroups.f2 = /work/onedesk/bidlog/sspbid.tmp
a1.sources.r1.headers.f2.topic = sspbid
a1.sources.r1.filegroups.f3 = /work/onedesk/bidlog/sspclick.tmp
a1.sources.r1.headers.f3.topic = sspclick
a1.sources.r1.fileHeader = true


a1.channels.c1.type = memory
a1.channels.c1.capacity = 100000
a1.channels.c1.transactionCapacity = 1000

a1.sinks.k1.type = org.apache.flume.sink.kafka.KafkaSink
a1.sinks.k1.kafka.topic = bidlog
a1.sinks.k1.kafka.bootstrap.servers = 192.168.60.15:9092