吾心光明

本博文主要内容包括：1 在线动态计算分类分类最热门商品案例回顾与演示 2 基于案例贯穿Spark Streaming的运行源码一：在线动态计算分类最热门商品案例代码：import com.robinspark.utils.ConnectionPool import org.apache.spark.SparkConf import org.apache.spark.sql.Row impor

本博文主要包含内容为：1、spark streaming另类在线实验 2、瞬间理解spark streaming本质一，对SparkStreaming的深入理解：1、 首先为何从Spark Streaming切入Spark定制？Spark的子框架已有若干，为何选择Spark Streaming？Spark最开始只有Spark Core，没有目前的这些子框架。这些子框架是构建于Spark Core

本博文主要包括以下内容：解密Spark Streaming Job架构和运行机制解密Spark Streaming容错架构和运行机制一、解密SparkStreaming Job架构和运行机制：理解SparkStreaming的Job的整个架构和运行机制对于精通SparkStreaming是至关重要的。我们知道对于一般的Spark应用程序来说，是RDD的action操作触发了Job的运行。那对于

本博文主要内容：Exactly once容错数据输出不重复一、Exactly once：1、 什么是事务处理： a) 能够处理且只被处理一次。例如，银行转账，A转给B，A有且仅转一次。 b) 能够输出，且只能够输出一次。而B接收转账，且直接收一次。Spark Streaming的事务处理和关系型数据库的事务的概念有所不同，关系型数据库事务关注的是语句级别的一致性，例如银行转账。而Spark

本博文内容主要包括：1、JobScheduler内幕实现 2、JobScheduler深度思考一：JobScheduler内幕实现：JobScheduler的地位非常的重要，所有的关键都在JobScheduler，它的重要性就相当于是Spark Core当中的DAGScheduler，因此，我们要花重点在JobScheduler上面。我们在进行sparkstreaming开发的时候，会对Dstre

本博文内容主要是 :DStream与RDD关系彻底研究Streaming中RDD的生成彻底研究　问题的提出 ： 　　1、RDD是依靠谁产生的？ 如何产生RDD？　　2、执行时是否与Spark Core上的RDD执行有什么不同的　　3、 运行之后对RDD要怎么处理　　　　为什么有第三点 : 是因为Spark Streaming 中会随着相关触发条件，窗口Window滑动的时候都会不断的产生RDD

本博文主要包含以下内容：1、 Spark Streaming Job 生成深度思考 2 、Spark Streaming Job 生成源码解析一 ：Spark Streaming Job 生成深度思考输入的DStream有很多来源Kafka、Socket、Flume，输出的DStream其实是逻辑级别的Action，是Spark Streaming框架提出的，其底层翻译成为物理级别的Action，

本博文主要内容包括：　　1. Spark Streaming架构　　2. Spark Streaming运行机制一、Spark Streaming的架构分析：1、SparkStreaming运行时更像SparkCore上的应用程序，SparkStreaming程序启动后会启动很多job，每个batchIntval、windowByKey的job、框架运行启动的job。例如，Receiver启动时也启