- 博客(2)
- 收藏
- 关注
RSS订阅原创 实现有状态的函数
背景：实现传感器的警报。监控每一个传感器的温度差异，如果温度差大于一个阈值，则添加到报警列表。代码如下： package com.zy.chapter07 import com.zy.chapter05.SensorReading import org.apache.flink.api.common.functions.RichFlatMapFunction import org.apache.f...
2020-01-31 08:30:08
381
转载 SparkRDD容错处理
RDD不同的依赖关系（宽依赖、窄依赖）是spark rdd有不同的容错处理方式；对spark框架层面容错机制的三大层面（调度层、RDD血统层、Checkpoint层）和spark rdd容错四大核心要点。 1、spark rdd容错原理 RDD的不同依赖关系导致spark对不同的依赖关系有不同的处理方式。 对于宽依赖实质是指一个父RDD的分区会对应一个或多个...
2018-08-26 14:03:24
1652
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人