大数据_Flink_Java版_状态编程_温度跳变报警---Flink工作笔记0063

最新推荐文章于 2023-05-24 14:55:39 发布
最新推荐文章于 2023-05-24 14:55:39 发布
阅读量665 收藏 2
点赞数 1
CC 4.0 BY-SA版权
分类专栏： 测试&部署&运维实施 文章标签： flink 大数据 big data 架构 java
本文为博主原创文章，未经博主 添柴程序猿 允许不得转载 违者追究法律责任。
本文链接：https://blog.youkuaiyun.com/lidew521/article/details/123553932
本文介绍了如何使用Flink进行状态编程，实现温度跳变报警功能。通过keyBy操作对传感器数据分组，使用flatMap和RichFlatMapFunction处理数据，当温度差大于10度时触发报警，并更新状态。示例代码展示了具体实现过程，包括状态的初始化、更新和清理。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

然后我们来看一下状态编程,这里我们实现一个简单的任务,就是:

我们要实现,温度跳变报警.

就是说,当两个温度值之间的温度差大于10度的时候,我们就要报警.

 

我们来做一下,这里我们新建一个

StateTest3_keyedStateApplicationCase

然后我们同样是,先把创建环境env,然后设置并行度,然后从socket流中读取数据,

获取inputStream,然后把这个inputStream通过map方法,转换成SensorReading流

然后,我们再做状态编程.

 

了解本专栏 订阅专栏 解锁全文 超级会员免费看
大数据_Flink_Java版_ProcessFunction(3)_应用案例_一段时间内温度连续上升---Flink工作笔记0068
添柴程序猿的专栏
03-26 699
然后我们来做个案例,使用ProcessFunction,这里我们实现一个需求,就是检查,10秒钟,内 温度连续上升就报警 可以用,滚动窗口嘛不可以对吧,这里滚动窗口,如果是我们设置10秒滚动时间,我们无法确定 滚动开始时间,结束时间,因为设置了10秒,他就会10秒一个滚动窗口对吧,比如上面 第一个窗口左边的,可以看到第3个数据下降,其他数据上升, 然后第二个窗口,前面的数据都是上升,最后一个下降, 但是两个窗口交叉的,第3个窗口,就是所有温度都在上升,这个是确定的. 所以如果没办法确...
Flink传感器温度监控预警
大唐帝国—前营
01-07 2152
需求：监控温度传感器的温度值，如果温度值在一秒钟之内(processing time)连续上升，则报警。 package com.run.wc import org.apache.flink.api.common.state.{ValueState, ValueStateDescriptor} import org.apache.flink.streaming.api.scala.{DataSt...
4.1.22 Flink-流处理框架-Flink中的状态管理之状态编程-温度跳变报警
敲代码的乔帮主
03-07 507
1.需求 利用 Keyed State，实现这样一个需求：检测传感器的温度值，如果连续的两个温度差值超过 10 度，就输出报警。
Flink之状态编程
qq_41924766的博客
05-24 736
Flink中的状态编程
Flink实现高温预警
qq_40870024的博客
12-08 708
import com.google.common.collect.Lists; import org.apache.flink.api.common.functions.MapFunction; import org.apache.flink.api.common.state.ListState; import org.apache.flink.api.common.state.ListStateDescriptor; import org.apache.flink.api.common.typeinfo.
Flink 状态编程
mengxianglong123的博客
04-03 2886
概述   Flink 处理机制的核心，就是“有状态的流式计算”。我们在之前的章节中也已经多次提到了“状态”（state），不论是简单聚合、窗口聚合，还是处理函数的应用，都会有状态的身影出现。在前面，我们已经简单介绍过有状态流处理，状态就如同事务处理时数据库中保存的信息一样，是用来辅助进行任务计算的数据。而在 Flink 这样的分布式系统中，我们不仅需要定义出状态在任务并行时的处理方式，还需要考虑如何持久化保存、以便发生故障时正确地恢复。这就需要一套完整的管理机制来处理所有的状态。 一、Flink 中的状态
尚硅谷大数据项目之Flink实时数仓-踩坑记录和笔记记录
prague6695的博客
08-11 2908
尚硅谷大数据项目之Flink实时数仓-踩坑记录和笔记记录
2021-03-13 大数据课程笔记 day52
qq_44745905的博客
03-13 1492
@R星校长 基于Flink的城市交通监控平台 1.1 项目整体介绍   近几年来，随着国内经济的快速发展，高速公路建设步伐不断加快，全国机动车辆、驾驶员数量迅速增长，交通管理工作日益繁重，压力与日俱增。为了提高公安交通管理工作的科学化、现代化水平，缓解警力不足，加强和保障道路交通的安全、有序和畅通，减少道路交通违法和事故的发生，全国各地建设和使用了大量的“电子警察”、“高清卡口”、“固定式测速”、“区间测速”、“便携式测速”、“视频监控”、“预警系统”、“能见度天气监测系统”、“LED信息发布系统”等交通.
HCIA-Big Data华为认证大数据工程师 课程笔记 + 课后习题
weixin_43211147的博客
04-07 5551
文章目录 一、大数据发展趋势与鲲鹏大数据 　　大数据时代的机遇与挑战　 　　华为鲲鹏解决方案 　　课后习题 一、大数据发展趋势与鲲鹏大数据 大数据时代的机遇与挑战 大数据的定义 在3V的基础上，业界对4V的定义加上了价值密度低（Value），而IBM对4V的定义加上了 真实准确（Veracity）。 目前对大数据尚未有一个公认的定义，不同的定义基本上是从特征出发，试图给出大数据 的定义 大数据处理与传统数据处理的差异 企业级大数据平台应用场景 • 社交网络和物联网技术拓展了数据采
Java版Flink（十三）状态编程
qq_41311979的博客
03-20 866
一、概述 以wordcount为例，为什么每次输入数据，flink都能统计每个单词的总数呢？我们都没有显示保存每个单词的状态值，但是每来一条数据，都能计算单词的总数。事实上，flink在底层维护了每个 key的状态，就是state。比较于Spark，Spark如果没有显示保存其中的状态，它会统计当前批次的单词次数，也就是没有了历史总数，这就相当于，来一条数据我就处理，不管之前的数据，这就是无状态。总之，状态在Flink编程中显得极其重要，也是新一代实时流式处理框架的核心。 二、state 概念 state：
如何基于Flink+TensorFlow打造实时智能异常检测平台
02-24
AI前线导读：Flink已经渐渐成为实时计算引擎的首选之一，从简单的实时ETL到复杂的CEP场景，Flink都能够很好地驾驭。本文整理自携程实时计算负责人潘国庆在QCon全球软件开发大会(北京站)2019的演讲，他介绍了携程如何基于Flink与TensorFlow构建实时智能异常检测平台，以解决规则告警系统准确率低、时效性低、规则配置复杂与耗费人力等诸多问题，实现了业务指标毫秒级延迟与智能化检测，同时依托Flink实现了强大的容错机制。随着互联网的迅速发展，各个公司都建立了自己的监控体系，用于提前发现问题降低损失，携程亦是如此。然而携程的监控体系存在以下三个问题：监控系统繁多监控告警配置复杂没
Flink CEP之高温预警场景应用
cts618
06-11 289
Flink CEP之高温预警场景应用
flink+drools动态规则示例之温度跳变告警
sunlang的博客
06-28 1807
flink+drools动态规则示例之温度跳变告警 package com.mz.test; import com.google.common.collect.Lists; import lombok.*; import lombok.Getter; import lombok.NoArgsConstructor; import lombok.Setter; import lombok.ToString; import org.apache.flink.api.common.state.Broadcast
Flink学习——状态编程
雷神乐乐的博客
05-19 753
Flink学习——状态编程 valueState、listValue、mapState、ReducingState
Flink中的ProcessFunction API(温度报警案例)
weixin_48149210的博客
09-24 350
ProcessFunction API: DataStream API 提供了一系列的 Low-Level 转换算子。可以访问时间戳、watermark 以及注册定时事件。还可以输出特定的一些事件，例如超时事件等。Process Function 用来构建事件驱动的应用以及实现自定义的业务逻辑(使用之前的window 函数和转换算子无法实现)。例如，Flink SQL 就是使用 Process Function 实现的。 KeyedProcessFunction: KeyedProcessFunction
Flink-状态后端得定义及选择 | 状态编程求上次温度与此次温度对比相差指定额度进行报警 | 使用已有API实现
SmallScorpion
05-28 438
状态后端（State Backends） 每传入一条数据，有状态的算子任务都会读取和更新状态 由于有效的状态访问对于处理数据的低延迟至关重要，因此每个并行任务都会在本地维护其状态，以确保快速的状态访问 状态的存储、访问以及维护，由一个可插入的组件决定，这个组件就叫做状态后端（state backend） 状态后端主要负责两件事：本地的状态管理，以及将检查点（checkpoint）状态写入远程存储 选择一个状态后端 Pom <!-- RocksDBStateBackend --&g
大数据_Flink_Java版_数据处理_状态管理_状态的定义---Flink工作笔记0060
添柴程序猿的专栏
03-18 517
然后我们再来看这里flink的状态,可以看到他包括 算子状态,operatior state 键控状态 keyed state 状态后端statebackends 我们先看一下什么是flink中的状态,这个有点类似于,之前我们做的那个sum操作,flink实际上是,每来 一个数据,就会进行一次加和,然后把这个加和的数据,放到内存中,然后等下一个数据来了,再拿出这个加和,跟来的数据进行相加操作,然后再把加起来的结果,更新原来上一次的加和到内存中,如此, 循环对吧. 所以可以看到,这里...
Flink之状态编程和容错机制
weixin_43520450的博客
09-20 1614
状态编程和容错机制一、有状态的算子和应用程序1.1 算子状态（operator state）1.2 键控状态（keyed state）二、状态一致性2.1 一致性级别2.2 端到端（end-to-end）状态一致性三、检查点（checkpoint）3.1 Flink 的检查点算法3.2 Flink+Kafka 如何实现端到端的 exactly-once 语义四、选择一个状态后端(state backend) 流式计算分为无状态和有状态两种情况。无状态的计算观察每个独立事件，并根据最后一个事件输出结果。例如，
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

添柴程序猿

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值