flink源码阅读---stream开发流程

最新推荐文章于 2024-05-12 18:24:03 发布
原创 最新推荐文章于 2024-05-12 18:24:03 发布 · 421 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文详细介绍了Flink流处理开发的标准化流程，包括获取执行环境、加载数据源、数据加工、指定数据存放位置及执行程序。深入解析了StreamExecutionEnvironment的作用与结构，以及DataStream的主要方法。

开发流程：

flink开发流程比较固化，一般分为一下几个阶段：

1.获取一个执行环境  ExecutionEnvironment/StreamExecutionEnvironment

2.加载/初始化数据源返回数据集 source

3.数据加工 transcation

4.指定数据存放位置 sink

5.调用execute()出发执行程序

下面我们正对stream计算对每个阶段做详细介绍：

StreamExecutionEnvironment

StreamExecutionEnvironment是流程执行的上下文，提供了控制作业执行(例如设置并行性或容错/检查点参数)和与外部世界交互(数据访问)的方法。

StreamExecutionEnvironment类结构：

DataStream

datastream表示同一类型的元素

最低0.47元/天 解锁文章
wandy0211
关注
flink-connector-mysql-cdc：01 mysql-cdc础配置代码演示
QYmufeng的博客
12-04 1108
flink-connector-mysql-cdc 代码测试以及常见问题处理，扩展应用，生产及代码分析
【Flink】Flink Streaming File Sink
九师兄
02-02 1797
1.概述 类似文章：【Flink】Flink StreamingFileSink 转载：Flink Streaming File Sink 2.背景 Flink 支持将流数据以文件形式存储到外部系统，典型使用场景是将数据写入Hive表所在 HDFS存储路径，通过Hive 做查询分析。随着Flink文件写入被业务广泛使用，暴露出很多问题，因此需要了解 Flink Streaming File sink 的实现逻辑。 3.案例 从Kafka消费JSON数据，转换为 UserInfo 实体类数据流，最终以Par.
《深入理解Flink核心设计与实践原理》随书，书中讲解的Flink特性完全可运行的代码供读者运行和测试。整个工程共有【182个Java文件】，你要的Demo这里都有，相关特性见正文的目录
02-05
1.《深入理解Flink核心设计与实践原理》-随书代码 整个工程共有【182个Java文件】，你要的Demo这里都有。 《深入理解Flink核心设计与实践原理》一书中针对该工程中的Flink示例代码进行逐步的详细讲解，并推荐大家购买《深入理解Flink核心设计与实践原理》一书来获得更好的学习体验。 本书从Apache Flink的缘起开始，由浅入深，理论结合实践，全方位地介绍Apache Flink这一处理海量数据集的高性能工具。本书围绕部署，流处理，批处理，表格API和SQL四大模块进行讲解，并详细说明Apache Flink的每个特性的实际业务背景，使读者可以轻松编写可运行的Apache
Flink – Stream Task执行过程
weixin_34062469的博客
07-06 587
Task.run if (invokable instanceof StatefulTask) { StatefulTask op = (StatefulTask) invokable; op.setInitialState(taskStateHandles);} // run the invokableinvokable.invoke();   invokable是S...
flink源码分析_Flink 源码：StreamTask 介绍及初始化过程详解
weixin_39629947的博客
11-30 631
本文是 Flink 源码解析系列，通过阅读本文你能 get 到以下点：StreamTask 类的基本功能及其职责StreamTask 初始化详细流程StateBackend 与 keyedStateBackend 以及 operatorStateBackend 之间的关系这里先留一个思考题：如下代码所示，开发 Flink Job 时 dataStream keyBy 后连续跟 map、f...
mysql 流计算_流式计算（三）-Flink Stream 篇一
weixin_31310913的博客
01-27 521
流的世界，有点乱，群雄逐鹿，流实在太多，看完这个马上又冒出一个，也不知哪个才是真正的牛，据说Flink是位重量级选手，能流计算，还能批处理，和其他伙伴关系也融洽的很，与HDFS/File/SQL/MQ往来都不在话下，今天我们就来实战一把。环境：Idea2019.03/Gradle6.0.1/JDK11.0.4/Lambda/RHEL8.0/VMWare15.5/Springboot2.2.1.RE...
DataStream API 四 之 Flink DataStream编程
m0_47231659的博客
08-15 299
DataStream API 四 之 Flink DataStream编程1.分布式流处理基本模型2.流应用开发步骤3.数据类型4. Connector5. Execution environment6. 参数传递7.配置并⾏度8.Watermark9.Checkpoint10.State11. Data Source11.111.2 自定义Source12.Transformations13.Window13.1窗⼝处理函数13.2 window /区间 Join13.3 Data Sink 1.分布
Flink源码剖析：flink-streaming-java 之 StreamGraph
foureyes
04-22 1877
文章目录1.DataStream API使用一览2. 源码剖析2.1 StreamExecutionEnvironment2.2 Transformation2.3 DataStream2.4 StreamOperator2.5 Function2.6 StreamGraph2.7 类之间的层级关系 本文主要围绕 Flink 源码中 flink-streaming-java 模块。介绍如何使用 D...
java8stream源码-flink-kafka-java:好的kafka-java
06-04
java8流源码大数据项目-Flink-Kafka-Java 使用 flink 和 kafka 等大数据工具对数据集执行操作。 小组成员 莫汉·克里希纳·阿拉瓦拉 示范技巧： 我将在windows机器上演示kafka的安装和配置。 先决条件： 卡夫卡 2.13...
Java代码审计-flink-streaming-platform-web
A345545108的博客
04-26 620
GitHub - zhp8341/flink-streaming-platform-web: 基于flink的实时流计算web平台flink-streaming-platform-web是一个将flink封装的一个可视化的、轻量级的flink web客户端系统，用户只需在web 界面进行sql配置就能完成流计算任务。项目结构flink-streaming-common: flink流计算相关公共类flink-streaming-core: flink流计算核心模块。
Flink Streaming SQL 基础
11-19
Flink Streaming SQL 基础 Flink Streaming SQL 基础 Flink Streaming SQL 基础
flink源码分析.pdf
09-17
flink源码解析文档分析，一起学习
Flink Stream Windows Join
xsdxs的博客
09-17 7826
Flink Stream Windows Join 1. 说明 参考Flink Stream Joining。不过就我实践下来，感觉这官方文档写的也不全面，所以我就来填填坑的。文中给出Windows Join的代码一般形式如下： stream.join(otherStream) .where(<KeySelector>) .equalTo(<KeySelector...
Flink Window 窗口概念和数据处理
smartsteps的博客
01-03 1790
Flink Window 窗口概念和数据处理Flink的Window操作1. 什么是window2. 时间窗口2.时间窗口案例1.tumbling-time-window (翻滚窗口-无重叠数据)2. sliding-time-window (滑动窗口-有重叠数据)3. 小结3.统计窗口Count-Window1 tumbling-count-window (无重叠数据)2 sliding-cou...
StreamX（4）：部署 flink stream 应用
yang_shibiao的博客
05-01 1250
目录 0. 相关文章链接 1. 创建本地Flink项目 1.1. 在idea中创建streamx-tutorial项目 1.2. 在 pom 文件中添加相关依赖 1.3. 创建对应包并编写示例代码 2. 将代码推送到gitee平台 2.1. 在gitee平台上创建项目 2.2. 在本地将gitee仓库拉取 2.3. 将步骤1中在本地创建的项目移动到远程仓库中 2.4. 上传代码到gitee 3. 配置项目 4. 编译项目 5. 提交应用 6. 查看项目并确定结果 6.1. 在s
StreamX 部署 Flink Stream 应用
weixin_45417821的博客
07-20 921
在streamx平台部署应用的时候要求代码最好部署在git平台，比如github或gitee。作为国内用户我们选择比较稳定的gitee。如果不会git/gitee的小伙伴，可以从基础学习一下，时间不长，一天足够。在弹出的界面里点击TaskManagers，然后点击正在运行的任务。4）启动应用（注意先启动socketnc-lk9999）第一次编译需要的时间比较久,因为需要下载许多的依赖。笔者工程名叫Flink-StreamX。......
《十堂课学习 Flink》第九章：Flink Stream 的实战案例一：CPU 平均使用率监控告警案例
热门推荐
Smileyan's blog
05-12 1万+
《十堂课学习 Flink 》第九章内容 简单的实战项目，包括 flink 流计算，kafka 通讯，序列化与反序列化，窗口化处理以及自定义聚合触发器。
送3本刚出的Flink书籍
a934079371的博客
01-23 586
文末赠书本文摘编于《FlinkSQL与DataStream入门、进阶与实战》（500页、70万字）作者羊艺超，目前就职于快手，国内最早一批 Flink SQL 使用者拥有从 0 到 1 使用 Flink SQL 建设、保障及治理实时数仓的丰富经验京东机械工业出版社旗舰店限时5折使用SQL实现流处理的核心技术在了解了Table\SQLAPI的使用方法以及作业运行机制之后，接下来分析SQL实...
Flink Stream案例——使用Stream API 和Window API 对自定义数据流（循环生成1000条）进行处理并将数据存储于MySQL数据库中
雨落i的博客
10-14 1878
目录案例介绍开发步骤具体代码定义样例类Environment和Source流程自定义随机生成订单类OrderSourceFunctionTransformation流程，实现案例的需求Sink与Execution流程自定义MySQLSinkFunction类，将数据存储于MySQL中实现结果本案例的完整代码 案例介绍 示例: 自定义Source，模拟1000条订单数据，每条数据间隔1秒钟(订单编号ID、用户编号ID、商品编号ID、消费金额、消费时间 ) 要求: 随机生成订单编号ID（UUID） 随机生成用
那我可以使用 org/apache/flink/flink-sql-connector-elasticsearch6/3.0.1-1.17吗
最新发布
11-14
它是由 **Ververica（现阿里云）团队开发并维护的 Flink CDC 生态组件**，而不是 Apache Flink 官方主干代码的一部分。 --- ### ✅ 正确归属信息 | 属性 | 值 | |------|----| | 项目名称 | Flink CDC Connectors...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值