Flume推送数据到SparkStreaming案例实战和内幕源码解密

最新推荐文章于 2022-08-03 11:57:33 发布

二府村

最新推荐文章于 2022-08-03 11:57:33 发布

阅读量1.3k

点赞数

分类专栏： Spark梦想文章标签： Flume推送数据源码解密

本文链接：https://blog.youkuaiyun.com/erfucun/article/details/52262416

版权

Spark梦想专栏收录该内容

30 篇文章

订阅专栏

本文详细介绍了如何使用Flume将数据推送至Spark Streaming进行实时处理，包括Flume on HDFS的案例回顾，Flume配置修改以推送到Spark Streaming，以及背后的原理和源码剖析。通过Java程序展示了FlumeUtil的使用，并解释了数据接收和处理的过程。最后，讨论了Spark Streaming在处理多种数据源时的强大能力。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

本博文内容主要包含以下几个方面：

Flume on HDFS案例回顾
Flume推送数据到Spark Streaming实战
原理绘图剖析

一：Flume on HDFS 案例回顾：
文件配置在上篇博文中已经详细介绍，接下来的操作基于已经成功安装完成Flume：

拷贝conf/flume-conf.properties.template，更名为conf/flume-cong.properties，只写以下内容：

#agent1表示代理名称

agent1.sources=source1

agent1.sinks=sink1

agent1.channels=channel1

#配置source1

agent1.sources.source1.type=spooldir

agent1.sources.source1.spoolDir=/usr/local/flume/tmp/TestDir

agent1.sources.source1.channels=channel1

agent1.sources.source1.fileHeader = false

agent1.sources.source1.interceptors = i1

agent1.sources.source1.interceptors.i1.type = timestamp

#配置sink1

agent1.sinks.sink1.type=hdfs

agent1.sinks.sink1.hdfs.path=hdfs://master:9000/library/flume

agent1.sinks.sink1.hdfs.fileType=DataStream

agent1.sinks.sink1.hdfs.writeFormat=TEXT

agent1.sinks.sink1.hdfs.rollInterval=1

agent1.sinks.sink1.channel=channel1

agent1.sinks.sink1.hdfs.filePrefix=%Y-%m-%d

#agent1.sinks.sink1.type=avro

#agent1.sinks.sink1.channel=channel1

#agent1.sinks.sink1.hostname=Master

#agent1.sinks.sink1.port=9999

#配置channel1

agent1.channels.channel1.type=file

agent1.channels.channel1.checkpointDir=/usr/local/flume/tmp/checkpointDir

agent1.channels.channel1.dataDirs=/usr/local/flume/tmp/dataDirs

flume-env.sh配置:

# export JAVA_HOME=/usr/lib/jvm/java-6-sun

export JAVA_HOME=/usr/local/jdk/jdk1.8.0_60

# Give Flume more memory and pre-allocate, enable remote monitoring via JMX

# export JAVA_OPTS="-Xms100m -Xmx2000m -Dcom.sun.management.jmxremote"

export JAVA_OPTS="-Xms100m -Xmx2000m -Dcom.sun.management.jmxremote"

建立文件夹 /usr/local/flume/tmp/TestDir。

在hdfs上建立/library/flume文件夹。

flume的bin文件夹下启动Flume:

./flume-ng agent -n agent1 -c conf -f /usr/local/flume/conf/flume-conf.properties -Dflume.root.logger=DEBUG,console

在/usr/local/flume/tmp/TestDir下，拷入测试用的文件，比如：NOTICE

flume 控制台会有一些相关信息：

16/04/22 11:03:49 INFO avro.ReliableSpoolingFileEventReader: Preparing to move file /usr/local/flume/tmp/TestDir/NOTICE to /usr/local/flume/tmp/TestDir/NOTICE.COMPLETED

16/04/22 11:03:51 INFO hdfs.HDFSDataStream: Serializer = TEXT, UseRawLocalFileSystem = false

16/04/22 11:03:51 INFO hdfs.BucketWriter: Creating hdfs://master:9000/library/flume/2016-04-22.1461294231806.tmp

16/04/22 11:03:52 INFO hdfs.BucketWriter: Closing hdfs://master:9000/library/flume/2016-04-22.1461294231806.tmp

16/04/22 11:03:52 INFO hdfs.BucketWriter: Renaming hdfs://master:9000/library/flume/2016-04-22.1461294231806.tmp to hdfs://master:9000/library/flume/2016-04-22.1461294231806

可以发现本地的NOTICE文件更名为NOTICE.COMPLETED。
同时在Web50070界面上可看到Flume把NOTICE文件传送到 HDFS的/library/flume下，说明当Flume指定的源文件夹中有新文件时，Flume会自动将此文件，导入到Flume配置时指定的HDFS文件夹中。

补充说明：
一般正常业务情况下，应该是把Flume的数据放到Kafka中，然后让不同的数据消费者去消费数据。如果要在Flume和Kafka两者间做选择的话，则要看业务中数据是否持续不断的产生。如果是这样，则应该选择Kafka。如果产生的数据时大时小，甚至有些时间没有数据，则没必要用Kafka，可以节省资源。

二， Flume推送数据到Spark Streaming实战

现在我们不把Flume的数据导入到HDFS中，而是把数据推送到Spark Streaming中。

修改conf/flume-cong.properties文件，改导入到HDFS，变为推送到Spark Streaming。

#配置sink1

#agent1.sinks.sink1.type=hdfs

#agent1.sinks.sink1.hdfs.path=hdfs://master:9000/library/flume

#agent1.sinks.sink1.hdfs.fileType=DataStream

#agent1.sinks.sink1.hdfs.writeFormat=TEXT

#agent1.sinks.sink1.hdfs.rollInterval=1

#agent1.sinks.sink1.channel=channel1

#agent1.sinks.sink1.hdfs.filePrefix=%Y-%m-%d

agent1.sinks.sink1.type=avro

agent1.sinks.sink1.channel=channel1

agent1.sinks.sink1.hostname=Master

agent1.sinks.sink1.port=9999

编写Spark Streaming应用的Java程序：


public class FlumePushData2SparkStreaming {

    public static void main(String[] args) {

        SparkConf conf = new SparkConf().setMaster("local[4]").setAppName("FlumePushDate2SparkStreaming");

        JavaStreamingContext jsc = new JavaStreamingContext(conf, Durations.seconds(30));

        JavaReceiverInputDStream lines = FlumeUtils.createStream(jsc,"Master", 9999);

        // 注意此处输入的event类型是SparkFlumeEvent类型。

        JavaDStream<String> words = lines.flatMap(new FlatMapFunction<SparkFlumeEvent, String>() {

            @Override

            public Iterable<String> call(SparkFlumeEvent event) throws Exception {

                String line = new String(event.event().getBody().array());

                return Arrays.asList(line.split(" "));

            }

        });

        JavaPairDStream<String, Integer> pairs = words.mapToPair(new PairFunction<String, String, Integer>() {

            @Override

            public Tuple2<String, Integer> call(String word) throws Exception {

                return new Tuple2<String, Integer>(word, 1);

            }

        });

        JavaPairDStream<String, Integer> wordsCount = pairs.reduceByKey(new Function2<Integer, Integer, Integer>() {

            @Override

            public Integer call(Integer v1, Integer v2) throws Exception {

                return v1 + v2;

            }

        });

        wordsCount.print();

        jsc.start();

        jsc.awaitTermination();

        jsc.close();

    }

}