justlpf的专栏

参考文章：Spark Streaming中的基本操作函数实例 官网文档中，大概可分为这几个 TransformationsWindow OperationsJoin OperationsOutput Operations 请了解一些基本信息： DStream是Spark Streaming提供的基本抽象。它表示连续的数据流，可以是从源接收的输入数据流，也可以是通过转换输入流生成的已处理数据流。在内部，DStream由一系列连续的RDD表示，这是Spark对不可变分布式数据集的抽象。DStream.

参考文章：spark_streaming_微批量处理 Spark 流（微批）处理（4）

1.反压机制原理 Spark Streaming中的反压机制是Spark 1.5.0推出的新特性，可以根据处理效率动态调整摄入速率。 当批处理时间(Batch Processing Time)大于批次间隔(Batch Interval，即 BatchDuration)时,说明处理数据的速度小于数据摄入的速度，持续时间过长或源头数据暴增，容易造成数据在内存中堆积，最终导致Executor OOM或任务奔溃。 在这种情况下，若是基于Kafka Receiver的数据源，可以通过设置spark.stream

参考文章：storm简介、原理、概念 1.什么是storm Storm是Twitter开源的分布式实时大数据处理框架，被业界称为实时版Hadoop。随着越来越多的场景对Hadoop的MapReduce高延迟无法容忍，比如网站统计、推荐系统、预警系统、金融系统(高频交易、股票)等等，大数据实时处理解决方案（流计算）的应用日趋广泛，目前已是分布式技术领域最新爆发点，而Storm更是流......

参考文章：Spark Streaming 进阶实战五个例子 一、带状态的算子：UpdateStateByKey 实现 计算 过去一段时间到当前时间 单词 出现的 频次 object StatefulWordCount { def main(args: Array[String]): Unit = { val sparkConf = new SparkConf().setMaster("local[2]").setAppName("StatefulWordCount") val s...

参考：Spark Streaming介绍 Spark Streaming 特点： 高吞吐量：Streaming 在 Spark 的基础上集成了流式处理，可以以类似 Spark 批处理的方式写流式作业，"接收+处理+输出"大量数据。一个吞吐，可以说是，一个服务器接受客户端的请求==》然后处理完（可能是 CPU 计算、可能是文件处理、数据库处理、网络任务等）==》最后返回结果。 容错能力强：可以恢复丢失的作业及操作状态 支持多数据源输入：hdfs、flume、kafka、twitter、zeromq

参考文章：Spark 以及 spark streaming 核心原理及实践 1. Spark Streaming运行原理 spark程序是使用一个spark应用实例一次性对一批历史数据进行处理，spark streaming是将持续不断输入的数据流转换成多个batch分片，使用一批spark应用实例进行处理。 从原理上看，把传统的spark批处理程序变成streaming程序，spark需要构建什么？ 需要构建4个东西： 一个静态的 RDD DAG 的模板，来表示处理逻辑；

前面有几篇关于Spark Streaming的博客，那会只是作为Spark入门，快速体验Spark之用，只是照着葫芦画瓢。本文结合Spark官网上Spark Streaming的编程指南对Spark Streaming进行介绍StreamingContext如同SparkContext一样，StreamingContext也是Spark Streaming应用程序通往Spark集群的通道，它的定义...