本文介绍了Spark的基础，重点讲解了Spark-Streaming的技术要点，包括DiscretizedStream（DStream）的概念，以及如何通过Spark-Streaming进行实时数据处理。此外，还展示了实时数据解析的无状态和有状态操作实例，以及在hdfs、spark-streaming和sparksql集成下的实时数据处理和分析框架。
导读：本次分享主题是《流式计算助力实时数据处理 spark-streaming入门实战》，主要内容分为3部分：
-
1.Spark基础
-
2.Spark-streaming技术要点
-
3.任务演示
一.Spark基础
Spark技术框架
RDD和transform&action
RDD 是 Spark 中最重要的数据形式。RDD可以具有不同的分区，分布在集群中的不同节点上。Spark提供了基于RDD函数化的操作（分为转换操作和行动操作）。
02
Spark-streaming技术要点
Spark-streaming原理
离散流(DiscretizedStream或DStream)是Spark Streaming对流式数据的基本抽象方式，将流式数据通过一个微小的时间间隔分解为一串连续的RDD，Spark的流式计算通过对一系列连续的小规模RDD进行批处理来完成。
-
Spark-Streaming从生产环境的输入源中读取流式数据，并按照设定的时间间隔把数据分组为Dstream。
-
随着时间进行，新的数据不断产生，不同批次的Dstream源源不断地被创造出
最低0.47元/天 解锁文章
扫一扫
977
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
