weixin_44825085的博客

SparkStreaming状态操作和滑动窗口​ Spark是以采集周期处理数据，可以做到秒级。因此统计的是当前周期的数据汇总，但有些场景我们需要统计累加数据，例如：当天登录人数累加，当天某个广告的点击量累计，按小时统计首次登录人数等。这里我们需要用到以前周期的数据，因此我们需要将周期内的统计结果保存起来，用于下个周期使用。其实，我们自己也可以使用Redis缓存类工具做手动保存。这里SparkStreaming提供了状态维持的方法，便于操作，简单易用。1、UpdateStateByKey​

SparkStreaming 对接kafka数据源使用SparkStreaming消费kafka中的实时数据，是流式数据处理的常用场景。下面利用对接kafka，实现词频统计。1、封装MyKafkaUtil由于对scala语言不是太熟悉，我这里使用Java语言编写工具类package cn.streaming.kafkaStream;import org.apache.kafka.clients.consumer.ConsumerConfig;import org.apache.kafk

SparkStreaming基本数据源SparkStreaming的大体流程图SparkStreaming分周期将数据封装在RDD中，底层抽象使用Dstream。本质还是对RDD中数据的处理。SparkStreaming基本数据源案例1. 文件流案例SparkStreaming支持各种文件系统中的文件流，如：HDFS、本地文件系统创建文件流的方式：读取HDFS上面的文件：streamingContext.fileStream[KeyClass, ValueClass,InputFo