BITDDD小栈

一.引言入门Demo讲到了Flink的一个处理特性就是通过时间窗口对一段时间的数据进行处理，这次有状态算子则是另一种基于时间的处理，有状态算子根据自身状态的过期时间，可以根据一定时间内的状态改变做出相对应的变化，相比于传统流式处理，状态的引入丰富了事件的处理方式。本章同样采用之前的温度传感器作为数据源，与之前的区别是统计指标由一段时间内一个传感器的平均温度变为了检测一个传感器一段时间内是否发生较大变化，如果超过预期阈值则发生报警，否则无事发生。二.依赖支持与辅助类依赖支持与辅助类同上一篇博.

一.引言:Spark Streaming 支持通过 Receiver 自定义数据流，实现之后由于接受客户端的不稳定时常造成streaming程序的崩溃，最早的想法是在Receiver实现中加入try catch，通过异常处理使得数据不会中断，但是Receiver整体的中断还是会迫使程序退出，不受Reciver内部的Try Catch控制，所以需要新的策略重启Receiver，好在Spark官方早就给出了解决方案，下面看看怎么使用。二.源码：Spark Doc中共有三种restart方案，可.

一.引言：Apach Flink 是全新的流处理系统，在Spark Straming的基础上添加了很多特性，主要在于其提供了基于时间和窗口计算的算子，并且支持有状态的存储和 Checkpoint 的重启机制，下面假设有多个温度传感器持续传输当前温度，Flink流处理需要每一段时间提供该时间段内的传感器平均温度。二.依赖支持项目是基于maven的scala项目，主要导入flink的scala依赖，如果是java需要另一套依赖：1.scala<properties> .

Streaming x Kafka实时统计数据时需要用到Spark Sreaming x kafka，spark版本就不多赘述了，kafka版本现在主要分0.8.x.x和0.10.x.x，但是调用相同API消费时发现两者有区别，这里做一下记录。Kafka Streaming生成选择常用的Direct Approach(No receiver)方式简化并行，提升straming接数据时的稳定性。...

Spark Streaming 接任意数据源作为 Stream问题出发点工程中遇到流式处理的问题时，多采用Spark Streaming 或者 Storm 来处理；Strom采用Spout的流接入方式，Streaming采用Stream的流接入方式，为了方便本地测试，所以选择了spark streaming，但是官方仅支持如下几种方案，当遇到其他高吞吐数据量作为流时，就需要主角 Receiver 登场：实现关键类Receiver：Receiver是spark内部实现的一套机制..