spark-streaming整合flume

Spark Streaming整合Flume教程

最新推荐文章于 2022-07-14 09:58:12 发布

十有八九

最新推荐文章于 2022-07-14 09:58:12 发布

阅读量460

点赞数

CC 4.0 BY-SA版权

分类专栏： spark 文章标签： streaming flume

本文链接：https://blog.youkuaiyun.com/weixin_44694973/article/details/96451489

安装flume1.6以上版本
spark-streaming-flume-sink_2.11-2.0.2.jar放入到flume的lib目录下
写flume的agent，注意既然是拉取的方式，那么flume向自己所在的机器上产数据就行
修改自己的scala-library版本，pom里面什么版本，找到地址传到flume/lib/

这里我pom是2.11.8，所以传的是该jar包，传完之后把原来的做个备份，mv重命名即可
编写flume-poll.conf配置文件

a1.sources = r1
a1.sinks = k1
a1.channels = c1
#source
a1.sources.r1.channels = c1
a1.sources.r1.type = spooldir
#读取集群上文件的路径，读取后文件后缀名会发生改变
a1.sources.r1.spoolDir = /root/data
a1.sources.r1.fileHeader = true
#channel
a1.channels.c1.type =memory
a1.channels.c1.capacity = 20000
a1.channels.c1.transactionCapacity=5000
#sinks
a1.sinks.k1.channel = c1
a1.sinks.k1.type = org.apache.spark.streaming.flume.sink.SparkSink
a1.sinks.k1.hostname=hdp-node-01