flink api 简介

最新推荐文章于 2025-01-21 09:04:34 发布
原创 最新推荐文章于 2025-01-21 09:04:34 发布 · 1.5k 阅读 · 6 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#大数据

本文介绍了Flink API的不同抽象层级，包括Process Function、Core APIs、Table API和SQL。着重讲解了DataStream API的常用操作，如Map、Filter、Flatmap、KeyBy、Reduce/Aggregations、union、旁路输出、窗口（Sliding Windows和Tumbling Windows）以及如何处理EventTime和Watermark，同时提到了RichAsyncFunction用于异步I/O交互。

1.1 不同级别的抽象

在这里插入图片描述

  • Flink API 最底层的抽象为有状态实时流处理。其抽象实现是 Process Function，并且 Process Function 被 Flink 框架集成到了 DataStream API 中来为我们使用。自由度最高，从而允许程序可以实现复杂计算。

  • Flink API 第二层抽象是 Core APIs。Core APIs 提供的流式 API（Fluent API）为数据处理提供了通用的模块组件，例如各种形式的用户自定义转换（transformations）、联接（joins）、聚合（aggregations）、窗口（windows）和状态（state）操作等。此层 API 中处理的数据类型在每种编程语言中都有其对应的类。

  • Flink API 第三层抽象是 Table API。Table API 是以表（Table）为中心的声明式编程（DSL）API，例如在流式数据场景下，它可以表示一张正在动态改变的表。
    表和 DataStream/DataSet 可以进行无缝切换，Flink 允许用户在编写应用程序时将 Table API 与 DataStream/DataSet API 混合使用。

  • Flink API 最顶层抽象是 SQL。这层抽象在语义和程序表达式上都类似于 Table API，但是其程序实现都是 SQL 查询表达式。SQL 抽象与 Table API 抽象之间的关联是非常紧密的，并且 SQL 查询语句可以在 Table API 中定义的表上执行。

1.2 常用DataStream API

flink-demo

最低0.47元/天 解锁文章
SOUL-GIN
关注
Flink API入门
数据人生
07-04 577
Flink数据处理流程 通过前面的文章我们大概了解了实时流处理框架，这篇文章开始我们将详细来学习下Flink的使用。Flink为开发流式/批处理应用程序提供了不同级别的抽象。 而这几个抽象的模块中DataStream API用于处理实时流处理，DataSetAPI用于离线批处理。 入门Flink API 后面我们都选择使用Scala来完成Flink程序的编写，当然你也可以选择Java或者Python。Scala DataSet API的所有核心类都在包org...
Flink API分层
蜗牛小将
10-13 1357
Flink API 分层介绍
Flink API
shenjianyu_rex的博客
09-07 456
1.Flink API介绍 Flink提供了不同的抽象级别以开发流式或者批处理应用程序 Stateful Stream Processing 最低级的抽象接口是状态化的数据流接口（stateful streaming）。这个接口是通过 ProcessFunction 集成到 DataStream API 中的。该接口允许用户 自由的处理来自一个或多个流中的事件，并使用一致的容错状态。另外，用户也可以通过注册 event time 和 processing time 处理回调函数的方法来实现复杂的计算 D
Flink高手之路：Flink流批一体API开发
weixin_46490924的博客
10-14 2364
Flink高手之路：Flink流批一体API开发
Flink API介绍
咖啡的博客
10-12 1613
Flink API介绍 Flink提供了三层API，每层在简洁性和表达性之间进行了不同的权衡。 flink-api ProcessFunction是Flink提供的最具表现力的功能接口，它提供了对时间和状态的细粒度控制，能够任意修改状态。所以ProcessFunction能够为许多有事件驱动的应用程序实现复杂的事件处理逻辑。 DataStream API为许多通用的流处理操作提供原语，比...
Flink SQL 与 Flink API：实时数仓建设的得力助手
最新发布
01-21 801
Flink SQL 和 Flink API 在实时数仓建设中各有所长。Flink SQL 以其简洁易用的特点，适合快速搭建实时数仓的基本数据处理流程；而 Flink API 则凭借高度的定制化能力，为复杂的数据处理需求提供了强大的解决方案。在实际项目中，我们可以根据具体的业务场景和需求，灵活选择使用 Flink SQL 或 Flink API，或者将两者结合起来，充分发挥 Flink 的优势，构建高效、可靠的实时数仓系统。随着大数据技术的不断发展，实时数仓的重要性日益凸显。
精选资源
Flink JavaAPI开发
05-30
此案例使用的是IDEA开发工具，项目属于maven项目 ...使用Flink JavaAPI实现的流处理、批处理（其中还包括Table API的使用和SQL API的使用），主要针对（《Flink入门与实战》徐葳著）教材中的实验使用
精选资源
flink-java-1.14.3-API文档-中文版.zip
06-06
包含翻译后的API文档：flink-java-1.14.3-javadoc-API文档-中文(简体)版.zip； Maven坐标：org.apache.flink:flink-java:1.14.3； 标签：apache、flink、java、中文文档、jar包； 使用方法：解压翻译后的API文档，用...
Flink 常用API
qq_32461003的博客
11-02 1027
Flink API概述: Flink根据抽象程度分层,提供了3种不同的API和库,每一种API在简洁性和表达力上有着不同的侧重,并且针对不同的应用场景。 ProcessFunctinon概述: ProcessFunctinon是Flink所提供最底层接口。ProcessFunction可以处理一或两条输入数据流中的单个事件或者归入一个特定窗口 内的多个事件,它提供了对于时间和状态的细粒度控制,开发者可以在其中任意地修改状态,也能够注册定时器用以在未来的某一时刻触发 回调函数.因此你可以利用Proces.
flink常用api详解
MOWRONG的博客
02-22 2649
1.Flink提供了四种不同层级的API。低级API，核心API，Table API，SQL。 2.Flink DataStream的常用API（主要分为三块）：DataSource（程序的数据源输入），Transformation（具体的操作），Sink（程序的输出） 3.Flink针对DataStream提供了大量的已经实现的DataSource (数据源)接口。如: 基于文件: readTextFile (path)读取文本文件，文件遵循Text InputFormat逐行读取规则并返回。 基
Flink基本API及核心概念详解
踏雪无痕
05-21 833
一.概述 Flink程序是常规程序，可对分布式集合进行转换（例如，过滤，映射，更新状态，联接，分组，定义窗口，聚合）。集合最初是从源创建的（例如，通过读取文件，kafka主题或本地内存中的集合）。结果通过接收器返回，接收器可以将数据写入（分布式）文件或标准输出（例如，命令行终端）。Flink程序可以在各种上下文中运行，独立运行或嵌入其他程序中。执行可以在本地JVM或许多计算机的群集中进行。 根据数据源的类型（即有界或无界源），您将编写批处理程序或流程序，其中DataSet API用于批处理，而DataStr
本篇文章主要介绍flink的关系型API
raidtest的专栏
06-06 556
本篇文章主要介绍flink的关系型API，整个文章主要分为下面几个部分来介绍：什么是flink关系型APIflink关系型API的各版本演进flink关系型API执行原理flink关系型API目前适用场景Table & SQL API介绍Table & SQL API举例动态表总结一、什么是flink关系型API当我们在使用flink做流式和批式任务计算的时候，往往会想到几个问题：...
看完就会的Flink基础API
热门推荐
lydms的博客
11-10 1万+
执行环境、数据源（source）、转换操作（transformation）、输出（sink）四大部分getExecutionEnvironment( )最简单的方式，就是直接调用 getExecutionEnvironment 方法。它会根据当前运行的上下文直接得到正确的结果：如果程序是独立运行的，就返回一个本地执行环境；如果是创建了 jar包，然后从命令行调用它并提交到集群执行，那么就返回集群的执行环境。也就是说，这个方法会根据当前运行的方式，自行决定该返回什么样的运行环境。 这种“智能”的方式不需要我们
Flink常用Api详解
weixin_44859876的博客
12-23 445
DataStream API主要分为3块:DataSource、Transformation、Sink。 Flink数据源(DataSource)可以有两种实现方式： 1.内置数据源 a）基于文件 readTextFile(path)//获取文本内容 读取文本文件,文件遵循TextInputFormat逐行读取规则并返回。 b）基于Socket //获取Flink的运行环境 StreamExecutionEnvironment env = StreamExecutionEnvironment.getExec
Flink的API分层、架构与组件原理、并行度、任务执行计划
tszc95的博客
11-06 2131
Apache Flink的API分为四个层次，每个层次都提供不同的抽象和功能，以满足不同场景下的数据处理需求。Flink API 最底层的抽象为有状态实时流处理。其抽象实现是Process Function，并且Process Function被 框架集成到了DataStream API中来为我们使用。它允许用户在应用程序中自由地处理来自单流或多流的事件（数据），并提供具有全局一致性和容错保障的状态。
Flink常用的API
qq_29860591的博客
09-09 786
Source 基于集合 /** * @author WGR * @create 2021/9/3 -- 13:38 */ public class SourceTest1 { //注：并行度默认取的是CPU的线程，我电脑为8核16线程。 public static void main(String[] args) throws Exception { S...
Flink核心API
简单随风的博客
09-02 581
Flink中提供了4种不同层次的API，每种API在简洁和易表达之间有自己的权衡，适用于不同的场景。目前前3个会用得比较多。 SQL:Flink的SQL底层是基于Apache Calcite，Apache Calcite实现了标准的SQL，使用起来比其他API更加灵活，因为可以直接使用SQL语句。Table API和SQL可以很容易地结合在一块使用，因为它们都返回Table对象。 Table API:一般与DataSet或者DataStream紧密关联，可以通过一个DataSet或DataStream创.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值