64、Flink 设置运行模式 代码示例

原创 于 2024-07-10 10:02:04 发布 · 284 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#flink #大数据

1、通过 run 命令启动 Jar 时设置

bin/flink run -Dexecution.runtime-mode=BATCH <jarFile>

2、在程序代码中通过执行环境设置

        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

//        env.setRuntimeMode(RuntimeExecutionMode.AUTOMATIC);
//        env.setRuntimeMode(RuntimeExecutionMode.BATCH);
        env.setRuntimeMode(RuntimeExecutionMode.STREAMING);

3、建议

在程序中不要写死，而是通过更灵活的方式进行选择。

流批一体计算引擎-13-[Flink]RuntimeExecutionMode和水印策略Watermark Strategy
qq_20466211的博客
07-04 1786
flink中的水印策略
Flink CEP原理与代码实例讲解
AI天才研究院
07-26 510
Flink CEP原理与代码实例讲解 1. 背景介绍 1.1 问题的由来 在实时流处理领域，事件处理通常涉及对持续流入的数据流进行分析，以便及时发现模式、异常或执行相应的业务逻辑。随着大数据和物联网技术的快速发展，实时流处理的需求日益增加。
Flink教程(18) Flink1.12.0 批流一体 setRuntimeMode(RuntimeExecutionMode.BATCH) 问题解决
Java Spring Elasticsearch
03-29 3563
一、问题 在Flink1.12.0有个重要的功能，批流一体，就是可以用之前流处理的API处理批数据。 只需要调用setRuntimeMode(RuntimeExecutionMode executionMode)。 RuntimeExecutionMode 就是一个枚举，有流、批和自动。 @PublicEvolving public enum RuntimeExecutionMode { STREAMING, BATCH, AUTOMATIC; private Runtim
flink runtime
hyy_blog
05-05 635
runtime是flink运行的状态，是flink的核心，在flink中扮演重要角色。 注：原理性的东西，对比记忆，JM,TM与hadoop的主从都是相识的，一般都是序列化，rpc，主从，资源申请，分配。 1.从源码看一下runtime有哪些东西 这是runtime的所有目录，runtime主要有client，JM，TM，RM以及dispather等 下面详细讲解一下r...
4、Flink执行模式（流/批）详解（下）
猫猫爱吃小鱼粮
04-25 839
Flink执行模式（流/批）详解（下）
Flink基础系列-Runtime网络篇
枫叶的落寞的博客
05-07 281
敬请期待。。。
Flink示例
Oo_Amy_oO的博客
03-11 480
假设有以下两个订单流数据，数据字段分别为用户ID、购买的商品名称、商品数量。目标：合并两个流的数据，并筛选出商品数量大于2的订单数据。11> Order(2,笔记本,3)10> Order(2,手表,3)12> Order(1,尺子,3)1> Order(1,铅笔,4)2L,"笔记本",3。4L,"计算器",1。
Flink 部署执行模式
王小工小工历程
05-22 1970
Apache Flink 提供了多种部署模式，以适应不同的环境和需求。
java8rt.jar源码-flink-broadcast-example:示例Flink广播状态模式
06-04
广播状态示例 这是一个正在进行的工作。 班级 类Dataserver将侦听端口 7777 上的连接，并将每秒两次向任何连接的套接字发送一个随机数 1-6。 类StateServer将侦听端口 7778 上的连接并允许在stdin上stdin整数。 输入...
Flink CEP 示例（可运行）
swing2008的专栏
02-25 1234
package com.cep import org.apache.flink.api.common.serialization.SimpleStringSchema import org.apache.flink.cep.PatternSelectFunction import org.apache.flink.cep.pattern.conditions.SimpleCondition import org.apache.flink.cep.scala.pattern.Pattern import .
（八）Flink DataStream API 编程指南 - 2 执行模式
京河小蚁的博客
05-23 514
DataStream API 支持不同的运行时执行模式，你可以根据你的用例需要和作业特点进行选择。 DataStream API 有一种”经典“的执行行为，我们称之为流（STREAMING）执行模式。这种模式适用于需要连续增量处理，而且预计无限期保持在线的无边界作业。 此外，还有一种批式执行模式，我们称之为批（BATCH）执行模式。这种执行作业的方式更容易让人联想到批处理框架，比如 MapReduce。这种执行模式适用于有一个已知的固定输入，而且不会连续运行的有边界作业。 Apache Flink 对流处理
flink.10 DataStream api execute mode（很重要）
笔生花的博客
09-06 663
一.概述 在此之前你需要了解:DataStream api 概述 DataStream API 支持不同的运行时执行模式(streaming/batch)，您可以根据用例的要求和作业的特征从中进行选择。 STREAMING DataStream API 有“经典”的执行行为，我们称之为 STREAMING执行模式。这应该用于需要连续增量处理并预计无限期保持在线的无限制作业,这是默认的执行模式. BATCH 这以一种更让人联想到 MapReduce 等批处理框架的方式执行作业。这应该用于您具有已
【Flink】
m0_67239108的博客
05-05 226
是一个实时计算框架和分布式处理引擎，用于在无边界和有边界数据流上进行有状态的计算。Flink 能在所有常见集群环境中运行，并能以内存速度和任意规模进行计算。
DataStream API:Execution Mode (Batch/Streaming)
weixin_48813624的博客
08-30 877
Execution Mode (Batch/Streaming)
（一）flink介绍
weixin_43930865的博客
01-09 2571
flink官方文档 1：什么是flink 1.1：简介 Apache Flink 是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算，也就是批处理和流处理的计算。 flink是依赖于资源调度平台例如Hadoop YARN、Apache Mesos和Kubernetes等进行计算的。 1.2：flink的API Flink 为开发流/批处理应用程序提供了不同级别的抽象。 1:最低级别的抽象只是提供有状态和及时的流处理。 它通过Process Function嵌入到DataStream API
Flink的DataStream API的使用------执行环境（Execution Environment）
weixin_44328192的博客
09-20 1596
Flink的DataStream API的使用------执行环境（Execution Environment）
Flink DataStream API （一）执行环境
weixin_45417821的博客
04-13 1024
文章目录执行环境（Execution Environment）创建执行环境执行模式(Execution Mode)触发程序执行 Flink 有非常灵活的分层 API 设计，其中的核心层就是 DataStream/DataSet API。由于新版本已经实现了流批一体，DataSet API 将被弃用，官方推荐统一使用 DataStream API 处理流数据和批数据。 DataStream（数据流）本身是 Flink 中一个用来表示数据集合的类（Class），我们编写的Flink 代码其实就是基于这种数据类型
Flink---14、Flink SQL（SQL-Client准备、流处理中的表、时间属性、DDL）
星光不问赶路人，岁月不负有心人
10-09 3101
Flink SQL（SQL-Client准备、流处理中的表、时间属性、DDL）
【Flink】Flink各版本及新特性
m0_54252387的博客
02-21 6321
在流式 SQL 查询中，一个最经常使用的是定义时间窗口。Flink 1.13 中引入了一种新的定义窗口的方式：通过 Table-valued 函数。这一方式不仅有更强的表达能力（允许用户定义新的窗口类型），并且与 SQL 标准更加一致。Flink 1.13 在新的语法中支持 TUMBLE 和 HOP 窗口，在后续版本中也会支持 SESSION 窗口。
flink 运行示例程序
最新发布
03-21
### Flink 示例程序的运行方法 要在 Apache Flink 中成功运行示例程序，需遵循一系列配置和执行流程。以下是关于如何运行 Flink 示例程序的具体指导。 #### 配置环境 为了运行 Flink 的示例程序，首先需要确保本地开发环境中已安装并正确配置了必要的组件。这包括 Java 开发工具包 (JDK)，以及 Maven 或 Gradle 构建工具用于管理依赖项[^1]。此外，还需下载并解压适合当前系统的 Flink 版本二进制文件。 #### 启动集群或单机模式 Flink 支持多种部署方式，例如本地模式、伪分布式模式或者完全分布式的集群模式。对于初学者而言，在本地启动一个简单的 Flink 实例通常是最便捷的选择。可以通过命令 `./bin/start-cluster.sh` 来初始化默认设置下的本地集群服务。 #### 编写与编译代码 基于官方文档或其他教程完成一段基础的数据流处理逻辑编写之后，利用构建工具打包生成可执行 JAR 文件。如果采用的是 Maven 工程，则可以在项目的 pom.xml 文件里加入如下片段以引入核心库及相关扩展功能的支持： ```xml <dependencies> <!-- Flink Core --> <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-streaming-java_2.12</artifactId> <version>${flink.version}</version> </dependency> <!-- Additional dependencies as needed, e.g., CSV reader support --> </dependencies> ``` 随后执行 mvn clean package 命令得到目标产物 jar-with-dependencies.jar[^3]。 #### 提交作业至 Flink 最后一步就是把刚刚制作好的应用程序提交给正在运行的服务端进行解析计算。假设刚才创建出来的 Jar 名称为 my-flink-job.jar ，那么可以借助 CLI 客户端发出请求: ```bash ./bin/flink run -c com.example.MyJob /path/to/my-flink-job.jar --input path-to-input-file --output path-for-output-data ``` 这里 `-c` 参数指定了入口类全限定名；而后面附加的一些选项则传递给了用户定义的任务参数列表中去。 以上即为整个从零开始直至最终成果展现出来的一个完整过程概述。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

猫猫爱吃小鱼粮

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值