flink系列(4)-StreamExecutionEnvironment

最新推荐文章于 2023-08-07 23:02:43 发布
转载 最新推荐文章于 2023-08-07 23:02:43 发布 · 2.1k 阅读 · 0 ·
CC 4.0 BY-SA版权
原文链接：https://my.oschina.net/u/1262062/blog/2250980
文章标签：

#大数据 #python #数据库

2019独角兽企业重金招聘Python工程师标准>>> hot3.png

首先我们先来看下StreamExecutionEnvironment的UML图

05f5712cf724f3ee1a9cc4fe3c0db4fd613.jpg

StreamExecutionEnvironment是一个任务的启动的入口

下面总共有5个实现类

分别是LocalStreamEnvironment, StreamPlanEnvironment, StreamContextEnvironment, RemoteStreamEnvironment和LegacyLocalStreamEnvironment这里不做一一介绍

执行的上下文

e8d770804cbe5cf38d1e75bbf0e6ff20b50.jpg

转载于:https://my.oschina.net/u/1262062/blog/2250980

Apache Flink源码分析---flink Environment介绍
wjandy0211的博客
10-29 518
在上一节flink快速入门中我们了解到，flink程序开发主要；流程分为五步（初始化一个环境Environment，添加datatsource，添加转换transformation, 调用execute执行）。本节我们就看看flinkEnvironment。 我们知道flink分为批计算和流计算。因此flinkEnvironment也分StreamExecutionEnvironment和ExecutionEnvironment。其中 StreamExecutionEnvironment用于流...
Flink源码解析系列--StreamExecutionEnvironment类
打酱油的葫芦娃
03-31 1万+
本文的Flink源码版本为: 1.15-SNAPSHOT，读者可自行从Github clone. Flink 程序看起来像一个转换 DataStream 的常规程序。每个程序由相同的基本部分组成： 获取一个执行环境（execution environment）； 加载/创建初始数据； 指定数据相关的转换； 指定计算结果的存储位置； 触发程序执行。 StreamExecutionEnvironment 是所有 Flink 程序的基础。 创建 你可以使用 StreamExecutionEnvironme.
6-4Table API and SQL的使用.
热门推荐
Drug discovery
10-02 1万+
All Table API and SQL programs for batch and streaming follow the same pattern. The following code example shows the common structure of Table API and SQL programs. // for batch programs use ExecutionEnvironment instead of StreamExecutionEnvironment val
Flink的StreamExecutionEnvironment和ExecutionEnvironment一点思考
weixin_42412645的博客
07-21 1万+
Flink程序首先就是创建运行环境StreamExecutionEnvironment和ExecutionEnvironment，查看了一下源码这两个类是抽象类，但是getExecutionEnvironment是静态方法。也就是说抽象类里面定义了静态方法同时根据不同的子类类型来new。这样做的好处是提供统一访问接口，具体实现方法根据具体的子类来。这个跟Java模板模式一样。 ...
Flink开发五步之第一步：执行环境设定
渐宽阁读书小弟
03-11 1477
目录： 一、ExecutionEnvironment：批量数据处理环境 二、StreamExecutionEnvironment：流式数据处理环境 一、设定ExecutionEnvironment：批量数据处理环境的三种方式 （1）设定Flink运行环境，如果在本地启动则创建本地执行环境，如果在集群启动则创建集群执行环境 val env1: ExecutionEnvironment = Execu...
Flink之修改StreamExecutionEnvironment配置Job
吟啸徐行
04-17 9343
地址：https://ci.apache.org/projects/flink/flink-docs-release-1.2/dev/execution_configuration.html 对于批处理程序修改配置代码如下： val env = ExecutionEnvironment.getExecutionEnvironment val conf = env.ge
flink系列--connector源码分析
wolflikeinnocence的博客
10-25 1659
1.概念 connector简单来说就是flink系统对接的外界数据源 2.支持的数据源类型 该截图来自于官网，可以看到官网并没有支持很多常见的数据源，而且支持的数据源不一定source和sink都支持，那这是为什么呢？ 如果你了解flink架构中taskmanager是如何进行数据交换的，那么这个问题也就不难理解，一般一个taskmanager会有两个网关（输入和输出），每一个taskmanager输入网关和上游的taskmanager的输出网关是通过netty进行交互的，有了一个buffer
Flink源码剖析：flink-streaming-java 之 StreamGraph
foureyes
04-22 1855
文章目录1.DataStream API使用一览2. 源码剖析2.1 StreamExecutionEnvironment2.2 Transformation2.3 DataStream2.4 StreamOperator2.5 Function2.6 StreamGraph2.7 类之间的层级关系 本文主要围绕 Flink 源码中 flink-streaming-java 模块。介绍如何使用 D...
flink连接器jar包.rar
04-11
关于压缩包中的 "4.flink连接器jar包"，这可能包含了一系列针对不同数据源的Flink连接器。例如，它可能包含了HDFS（Hadoop分布式文件系统）连接器，用于读写HDFS上的数据；Kafka连接器，用于与Kafka消息队列进行交互...
Flink - 尚硅谷- 大数据高级 Flink 技术精讲 - 1
MiaoSO的博客
08-24 4360
Flink - 尚硅谷- 大数据高级 Flink 技术精讲 Flink - 尚硅谷- 大数据高级 Flink 技术精讲 一、Flink 简介 二、Quick Start 2.1 环境 2.1 Flink 安装包 2.2 nc 2.3 pom 配置 2.2 批处理 2.3 流处理 三、Flink 部署 3.1 Standalone 模式 3.2 Yarn 模式 3.2.1 Flink on Yarn 3.2.2 Session Cluster 3.2.3 Per Job Cluster
Flink配置执行环境和参数
feizuiku0116的博客
01-12 2273
一、配置DataStream API、DataSet API的执行环境 执行环境（Execution Environment）表示当前执行程序的上下文，它决定了Flink应用程序在什么执行环境（本地或集群）中执行。 不同的执行环境也决定了应用程序的不同类型。批处理和流处理作业分别使用不同的执行环境。 创建执行环境的类： StreamExecutionEnvironment：用来创建流处理执行环境 ExecutionEnvironment：用来创建批处理执行环境 获取执行环境的方法：
【尚硅谷Java版】Flink中DataStream API篇之创建执行环境
junR_980218的博客
07-15 1465
【尚硅谷Java版】Flink中DataStream API篇之创建执行环境
Flink框架源码——核心抽象
weixin_43097905的博客
01-29 1070
Flink的环境对象可以分为3种：开发时环境对象、运行时环境对象、运行时上下文对象
Flink流处理StreamExecutionEnvironment用法
杨得朝的博客
11-05 1万+
大家好，我是瓜哥，今天进行了Flink相关内容的总结和学习。Flink可以处理实时流式数据处理。 具体的资料文档可以登录flink官方文档直接进行在线学习。flink官方文档 直接看官方文档对flink的一个架构图： Apache Flink 功能强大，支持开发和运行多种不同种类的应用程序。它的主要特性包括：批流一体化、精密的状态管理、事件时间支持以及精确一次的状态一致性保障等。Flink 不仅可以运行在包括 YARN、 Mesos、Kubernetes 在内的多种资源管理框架上，还支持在裸机集群
3.核心抽象
StephenYou的自习室
08-07 470
在运行时刻，DataStream的API调用都会被转换为 Transformation，然后从Transformation转换为实际运行的算子，而。当前版本Flink的批流在API并没有统一，所以有流计算（StreamExecutionEnvironment）和批处理（ExecutionEnvironment）两套执行环境。RuntimeContext是Function运行时的上下文，封装了Function运 行时可能需要的所有信息，让Function在运行时能够获取到作业级别的 信 息。
Flink 1.12.2 源码浅析 : StreamExecutionEnvironment
张伯毅的专栏
04-12 2756
.一 .前言二 .静态属性相关2.1. 属性定义2.2. 属性值三 .构造方法相关3.1. 构造方法3.2. 配置相关四 .初始化4.1. initializeContextEnvironment4.2. getExecutionEnvironment五 .Source相关方法5.1. addSource相关方法5.2. Source相关的数据方法六 . execute 相关七 . StreamGraph相关八 . addOperator九 .getExecutionEnvironment 相关十 .其他
DataStream（二）
JiaXingNashishua的博客
09-10 1199
Flink 的 DataStream API 编程风格其实是一致的：基本上都 是基于 DataStream 调用一个方法，表示要做一个转换操作；方法需要传入一个参数，这个参 数都是需要实现一个接口。很容易发现，这些接口有一个共同特点：全部都以算子操作名称 + Function 命名。我们不仅可以通过自定义函数类或者匿名类来 实现接口，也可以直接传入 Lambda 表达式。这就是所谓的用户自定义函数（user-defined function，UDF）。1. 函数类（Function Classes）
Flink笔记
weixin_49113403的博客
02-01 1919
其实就是实现FilterFuntion方法之类的Rich Funtion函数类，RichReduceFuntion,RichFilter Function等只要带Rich的，就可以获取上下文环境和生命周期方法例如open（）和close（）方法open（）初始化，只会在算子运行之前调用一次，有多个并行度，调用多次close（），一般用来做一些清理工作getRuntimeContext（），获取上下文的信息重写 invoke方法。
【大数据开发】Flink——Flink Soure
白色风车
08-03 353
文章目录一、创建执行环境二、文件数据源三、集合数据源四、socket连接数据源五、自定义数据源①六、自定义数据源②七、Kafka数据源 一、创建执行环境 package com.bsfc._01_source import org.apache.flink.streaming.api.scala.StreamExecutionEnvironment /** * 创建执行环境 */ object _00_CreateEnv { def main(args: Array[String
Flink
最新发布
06-10
- **Flink Benchmarks**：包含了一系列基准测试程序，展示了如何评估 Flink 的性能表现[^2]。 #### 4. 示例代码 以下是一个简单的 Flink 流处理程序示例，演示了如何读取 Kafka 数据源并进行基本转换操作： ```...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值