Flink参数总结

最新推荐文章于 2025-09-11 13:16:53 发布
原创 最新推荐文章于 2025-09-11 13:16:53 发布 · 2.1k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#flink #大数据

本文详细介绍了Flink任务的提交参数，包括Pre-Job模式与Session模式下的参数配置，如并行度、TaskManager的Slot数量等。在任务运行参数中，讨论了如何设置并行度，包括全局默认值、DataStream API粒度设置以及Table API的默认并行度配置。此外，还特别讲解了在Hive Source中如何根据文件数和block数推断并行度，以及设置sink表的并行度策略。

任务提交参数

Pre-Job模式

./bin/flink run -m yarn-cluster -ynm job_name -ys 2 
-p 4 -yjm 1024m -ytm 4096m ./examples/batch/WordCount.jar

参数解读：
-p 并行度
-ynm 提交到yarn上的任务名称
-ys 每个TaskManager的Slot数量
-yjm 每个JobManager内存 (default: MB)
-ytm 每个TaskManager内存 (default: MB)

  • 无法直接配置task manager数量，由程序的并行度自动推算
最低0.47元/天 解锁文章
magicchu
关注
flink常用参数
05-19 706
已迁移。
【实战-06】如何正确设置flink参数,全网最全
笔生花的博客
09-06 2126
设置flink参数， yarn.provided.usrlib.dir yarn.provided.lib.dirs
Flink 内存模型的分配策略 主公式推导
SuCicada 小米的蝉
01-08 318
结论: 启动flink设定的 ytm数值 与实际监控展示的JVM_Heap数值关系是 (ytm大于1920的简化公式) JVM_Heap = ytm * 0.45 - 256 啓動參數: -ytm 设定的实际是 进程总内存,相当于yarn容器大小 Total_Process_Memory: ytm JVM_Metaspace: 默認 256m JVM_Overhead: 默認 jtm * 0.1 (必須在 192m ~ 1g (默認)) Total_Flink_Memory: Total_Proces
Flink提交任务
别人笑我太疯癫，我笑他人看不穿。
11-03 5715
Flink提交任务的方式有两种，第一种是自带的UI页面，但是这种提交方式很少有团队正式使用，因为这种方式的资源分配是按照task节点为单位运行并度的，一个并行度就要占用一个task节点，国内九成九的都是普通公司，不是大厂，根本用不起，这也是flink很少在国内使用的原因。第二种提交方式就是命令行模式，这种方式下就和UI提交是同源的，也可以提交给yarn。说白了就是国内使用flink时，也只是提交给了yarn，很少有公司有那个经济实力，直接把任务交给flink自身的jobmanager。
Flink安装部署详细指南
最新发布
ITHomeZSL的博客
09-11 909
负责协调分布式任务的执行，如调度任务、协调检查点（Checkpoint）、故障恢复等。它是集群的“大脑”。负责执行数据流中的具体任务（Tasks），并提供内存来存储缓存数据。每个 Worker 都是一个 JVM 进程。先启动一个长期运行的集群（包含 JobManager 和 TaskManagers），然后向这个集群提交多个作业。所有作业共享集群资源。适合执行时间短、交互式的查询作业。为每个提交的作业启动一个独立的集群。作业完成后，集群资源释放。作业之间资源隔离性好，适合长期运行的大型作业。
flink常用参数说明
热门推荐
暮紫的笔记本
03-03 1万+
一、flink run参数： flink run命令执行模板：flink run [option] -c,–class : 需要指定的main方法的类 -C,–classpath : 向每个用户代码添加url，他是通过UrlClassLoader加载。url需要指定文件的schema如（file://） -d,–detached : 在后台运行 -p,–parallelism : job需要指定env的并行度，这个一般都需要设置。 -q,–sysoutLogging : 禁止logging输出作为
Flink 参数配置和常见参数调优
yang灬仔
07-27 4501
Flink参数配置 jobmanger.rpc.address jm的地址。 jobmanager.rpc.port jm的端口号。 jobmanager.heap.mb jm的堆内存大小。不建议配的太大，1-2G足够。 taskmanager.heap.mb tm的堆内存大小。大小视任务量而定。需要存储任务的中间值，网络缓存，用户数据等。 taskmanager.numberOfTaskSlots slot数量。在yarn模式使用的时候会受到yarn.scheduler.maximum-allo
Flink常用参数
shuijing55hi的博客
08-05 468
路径必须指定协议(例如file://)，并且在所有节点上都可以访问(例如通过NFS共享)。要连接到的JobManager地址。使用此标志可以连接到与配置中指定的JobManager不同的JobManager。如果复原的程序，对逻辑做了修改，比如删除了算子可以指定allowNonRestoredState参数复原。如果您从程序中删除了保存点触发时属于程序一部分的操作符，则需要允许这样做。可选标志，用于覆盖配置中指定的默认值。job需要指定env的并行度，这个一般都需要设置。需要指定的main方法的类。
Flink实战总结1
08-03
"Flink实战总结1" Flink是Apache的开源项目，提供了分布式处理引擎，可以实现在大规模数据集上的复杂数据处理操作。Flink的核心是基于事件驱动的流处理引擎，可以实现在实时处理大规模数据流的操作。 在Flink中，...
flink命令行参数
04-08
Apache Flink是一个面向分布式数据流处理和批量数据处理的开源计算平台，它能够基于同一个Flink运行时，提供支持流处理和批处理两种类型应用的功能。
Flink参数设置和性能优化
litlit023的专栏
04-02 1203
4、分桶聚合-适用于去重聚合场景例如count(distinct userId)，将数据的key先打散到多个桶进行聚合，再对分桶中的数据最后聚合。去重计算的分桶聚合（例如groupby分钟去重，如果一个key数据500w，另一个key数据1w）导致数据倾斜，开启分桶聚合、分桶个数。0、状态访问性能差、大状态以及数据倾斜这3种场景提供的微批处理、去重场景BitMap复用、两阶段聚合以及去重计算的分桶聚合的优化原理。3、2阶段聚合（适合计数、累加的聚合场景）：热点数据倾斜，先聚合再传递给下游。
flink可配置参数
qq_18379607的博客
12-25 275
【代码】flink可配置参数。
flink参数
qq1274214057的博客
07-02 566
【代码】flink参数。
flink run 参数_Flink集群部署
weixin_42513602的博客
12-03 2995
大数据成神之路：点我去成神之路系列目录^_^Flink入门Flink DataSet&DataSteam API1部署方式一般来讲有三种方式：LocalStandaloneFlink On Yarn/Mesos/K8s… 2Standalone部署上一节我们讲了单机模式如何部署启动，这节我们基于CentOS 7虚拟机搭建一个3个节点的集群：角色分配： Master: 192.168.246...
Flink 常用及优化参数
chbxw
03-23 1160
流批模式checkpoint在这里插入代码片以下是 Flink SQL Client 中与。
flink run 参数_聊聊flink的Parallel Execution
weixin_36044301的博客
12-27 309
序本文主要研究一下flink的Parallel Execution实例Operator Levelfinal StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();​DataStream text = [...]DataStream> wordCounts = text .f...
Spark访问Hive的表
u011135852的博客
07-10 458
step 1:将$HIVE_HOME/conf/hive-site.xml拷贝到$SPARK_HOME/conf目录下 step 2:spark-shell模式：./spark-shell --master local[2] --jars ../jars/mysql-connector-java-5.1.49.jar step3:spark-sql模式：./spark-sql --master local[2] --jars ../jars/mysql-connector-java-5.1.49.j
flink参数释义
那又怎样？的博客
12-13 8198
转载来自：https://doc.flink-china.org/doc/ops/deployment/cluster_setup.html 用法# 命令行语法如下： ./flink <ACTION> [OPTIONS] [ARGUMENTS] 可以使用以下操作： 命令 "run" 编译并运行程序。 Syntax: run [OPTIONS] <jar-file...
flink 3台32g16核机器，yarn启动flink 参数怎么设置
09-04
在使用 **YARN 启动 Flink 作业**时，合理配置参数可以充分利用集群资源，提高作业的性能和稳定性。你有 **3 台机器，每台 32GB 内存、16 核 CPU**，我们来根据这个硬件配置推荐一个 **生产级的 Flink on YARN 启动...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值