Apache Flink-数据流之上的有状态的计算

最新推荐文章于 2022-03-16 16:22:53 发布

翻译最新推荐文章于 2022-03-16 16:22:53 发布 · 2.4k 阅读

文章标签：

#Flink

Flink 专栏收录该内容

22 篇文章

订阅专栏

Flink是一款强大的流处理框架，适用于事件驱动应用、数据分析和ETL管道等场景。其特点包括正确性保证，如正好一次状态一致性；多层级API支持，如SQL、数据流API；操作重点为灵活部署和高可用性；并能扩展到任何用户场景，实现低延迟和高吞吐量。

官网给出的Flink应用场景图：

1.状态计算。

2.从上图看出的应用场景有？

-----事件驱动式的流处理

-----ETL管道

-----数据分析

3.一般性架构

从架构上来说与一般的流式架构没有太大的不同，任务调度和资源管理可以放在我们熟悉的yarn上进行，flink的特点如下：

所有流式应用场景：事件驱动应用程序，流和批处理分析，数据管道和ETL

正确性保证："正好一次"状态的一致性，事件-时间处理，复杂的延迟数据处理

多层级的API支持：流式和批处理上的SQL，数据流API和数据集API，处理函数（时间和状态）

操作重点：灵活部署，高可用性设置，保存点

扩展到任何用户场景：横向扩展的架构，支持超大状态的计算，增量的检查点

优秀的性能：低延迟，高吞吐量，内存计算

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

anickname

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

从零开始：使用Flink实现实时数据ETL全流程

软件工程实践的博客

10-18

739

在数据驱动决策的时代，数据的价值日益凸显。ETL（Extract, Transform, Load），即数据抽取、转换、加载，作为数据处理和集成的核心环节，负责将分散在各个数据源的数据抽取出来，经过清洗、转换、聚合等一系列处理后，加载到目标数据存储（如数据仓库、数据湖、OLAP数据库等）中，为后续的数据分析、报表生成和机器学习等应用提供高质量的数据支持。

Flink的四大基石之---Flink State状态计算详解

LBJ_小松鼠的博客

03-09

948

1- 什么是Flink State状态计算简介: Flink之所以能这么流行，离不开它最重要的四个基石：Checkpoint、State、Time、Window。 1）、窗口Window和时间Time（事件时间） 2）、状态State和检查点Checkpoint 状态计算：流式计算中，从数据源，到数据转换，最后数据终端，都会对State状态进行关联。无状态计算: 有状态（State）计算: 2- Flink State 状态组织形式划分官网文档：https://ci.apache.org/

参与评论您还未登录，请先登录后发表或查看评论

Flink 状态计算

water drop的博客

03-15

2097

Flink 状态计算一、概述 https://ci.apache.org/projects/flink/flink-docs-release-1.10/dev/stream/state/state.html Flink是⼀个基于状态计算的流计算服务。Flink将所有的状态分为两⼤类: keyed state与 operatorstate.所谓的keyed state指的是Flink底层会给每⼀个...

Flink中基于State的有状态计算开发方法

Deepexi_Date的博客

03-16

2571

文：王东阳前言状态在Flink中叫作State，用来保存中间计算结果或者缓存数据。根据是否需要保存中间结果，分为无状态计算和有状态计算。对于流计算而言，事件持续不断地产生，如果每次计算都是相互独立的，不依赖于上下游的事件，则是无状态计算。如果计算需要依赖于之前或者后续的事件，则是有状态计算。在Flink中根据数据集是否根据Key进行分区，将状态分为Keyed State和Operator State（Non-keyed State）两种类型，本文主要介绍Keyed State，后续文章会介绍Oper

Flink有状态计算概述

ItStar

08-06

2565

在Flink架构体系中，有状态计算可以说是Flink非常重要的特性之一。有状态计算是指在程序计算过程中，在Flink程序内部存储计算产生的中间结果，并提供给后续Funct...

Flink开发-实现有状态的计算

学习记录

08-26

1198

Flink开发-实现有状态的计算1. Checkpoint原理及配置方法1.1 开启Checkpoint1.2 State Backend1.2.1 MemoryStateBackend1.2.2 FsStateBackend1.2.3 MemoryStateBackend2. 故障重启恢复流程2.1 重启恢复基本流程2.2 重启策略2.2.1 Fixed Delay（固定延时重启）2.2.2 Failure Rate（故障率重启）2.2.3 No Restart（不重启）3. Flink的几种状态类型3.

Apache Flink-实时计算正当时.pdf

01-25

用户现在可以将自动扩缩容的工具应用到 Flink 应用之上，就像普通的应用程序一样，只要用户了解扩缩容的代价：有状态的流应用在扩缩容的时候需要将状态重新分发。分析应用的性能对所有应用程序来说，能够简单的...

flink-1.14.4-bin-scala-2.12.tgz

最新发布

07-27

Apache Flink是一个开源的流处理框架，用于处理和分析实时数据流。它具有高吞吐量、低延迟以及精确的状态管理和时间控制特性。Flink的设计目标是为了能够高效地处理大量数据，支持高可扩展性和容错性。Flink-1.14.4...

精选资源

flink-1.12.7-bin-scala_2.12.tgz

06-15

在大数据领域，Flink 已经成为实时计算的核心组件之一。这个压缩包 "flink-1.12.7-bin-scala_2.12.tgz" 包含了 Flink 1.12.7 的二进制版本，特别针对使用 Scala 2.12 的开发环境进行了优化。 1. **Flink 的核心特性...

精选资源

flink-1.14.2-bin-scala_2.12.tgz

01-10

DataStream API用于处理无界和有界数据流，而DataSet API则适用于批处理任务。JobManager负责任务调度和故障恢复，TaskManager则执行具体的计算任务。State Backend则管理着Flink应用程序的状态，确保容错性和高效的...

基于 Apache Pulsar 和 Apache Flink 进行批流一体的弹性数据处理.pdf

12-08

1. **与云基础设施的兼容性**：Pulsar 和 Flink 都设计为云友好，可以轻松部署在各种云平台之上。 2. **多租户管理**：Pulsar 支持多租户，能够有效地管理不同用户或应用程序的数据。 3. **可扩展性**：两者都具备...

不仅仅是流计算：Apache Flink实践

04-22

不仅仅是流计算：Apache Flink实践/

不仅仅是流计算-阿里美团头条-Flink实践完整版

01-23

低分分享-不仅仅是流计算-阿里美团头条-Flink实践完整版。

有状态计算和无状态计算

weixin_59295776的博客

11-30

1064

什么是有状态计算，什么是无状态计算？在数据的流处理中他们的区别是什么？一般来说就是计算分为无状态和有状态两种情况。无状态计算会观察每个独立的事件，并且会在最后一个时间出结果，例如一些报警和监控，一直观察每个事件，当触发警报的事件来临就会触发警告。 有状态的计算就会基于多个事件来输出结果，比如说计算过去一个小时的平均温度等等。 ...

理解stateful computation有状态计算

漫步量化

03-29

418

Overview Streaming computation can be either stateless or stateful. A stateless program looks at each individual event and creates some output based on that last event; A stateful program creates output based on multiple events taken together. stateful 用..

Flink的状态介绍和有状态的计算

sghuu的博客

12-25

3389

** Flink的状态介绍 ** Flink的状态指的是 1.维护的状态变量,键控状态值状态（Value state）为每个键存储一个任意类型的单个值。复杂数据结构也可以存储为值状态。列表状态（List state）为每个键存储一个值的列表。列表里的每个数据可以是任意类型。映射状态（Map state）为每个键存储一个键值映射（map）。map的key和value可以是任意类型。 2....

Apache Beam中的有状态计算

ffjl1985的专栏

09-22

2436

Beam帮助我们处理流式、乱序、大规模的数据，并且提供了高度的抽象机制Pipeline，统一了流式和批量数据处理。从功能上流处理可以分为无状态（stateless）的和有状态(stateful)两种。在流处理的框架里引入状态管理大大提升了系统的表达能力，让用户能够很方便地实现复杂的处理逻辑，是流处理在功能上的一个飞跃。以下提到State或者状态是相同的概念。 有状态计算是Apa

Flink-State

胖虎儿的博客

05-29

6612

什么是有状态计算？Flink如何做有状态计算，如何高效的进行状态管理？

Flink学习笔记之有状态流处理

weixin_45524021的博客

01-13

521

什么是State? 尽管数据流中的许多操作一次仅查看一个事件(例如事件解析器),但某些操作会记住多个事件的信息（例如窗口运算符）。这些操作称为有状态。 有状态操作的一些示例：当应用程序搜索某些事件模式时,状态将存储到目前为止遇到的事件序列。在每分钟/小时/天汇总事件时,状态将保留待处理的汇总。在数据点流上训练机器学习模型时,状态保持模型参数的当前版本。当需要管理历史数据时,该状态允许有效访问过去发生的事件。 Flink 需要了解状态,以便使用检查点和保存点来使其容错。关于状态的知

Apache Flink实时数据处理与流式计算实战

Apache Flink 是当前大数据领域中最为先进和高效的流式计算框架之一，其设计理念旨在统一批处理与流处理的编程模型，实现真正意义上的实时数据处理能力。标题“EverythingApacheFlink:大大后裔”暗示了该资料可能是...