[flink]flink on yarn和standalone模式简单配置

yarn模式

注:
jobmanager.memory.heap.size和jobmanager.memory.process.size二选一,且后者比前者大。

classloader.check-leaked-classloader: false和taskmanager.memory.process.size: 5120m是程序启动时候遇到的问题,所以配置上

env.hadoop.conf.dir: /opt/hadoop/etc/hadoop,
env.java.home: /usr/lib/jvm/java-1.8.0-openjdk-1.8.0.181-7.b13.el7.x86_64/jre和
env.yarn.conf.dir: /opt/hadoop/etc/hadoop是环境变量。如果你的 /etc/profile能找到对应路径,那么只需要三个配置

## jobmanager.memory.heap.size: 1024m
jobmanager.memory.process.size: 2048m


classloader.check-leaked-classloader: false
taskmanager.memory.process.size: 5120m
env.hadoop.conf.dir: /opt/hadoop/etc/hadoop
env.java.home: /usr/lib/jvm/java-1.8.0-openjdk-1.8.0.181-7.b13.el7.x86_64/jre
env.yarn.conf.dir: /opt/hadoop/etc/hadoop

测试:
记得在active状态的rm上执行!

 /opt/flink-1.13.6/bin/flink run  -t yarn-per-job /opt/flink/examples/batch/WordCount.jar

在这里插入图片描述

standalone单机模式

什么都不用改, 可以直接启动
如果改配置可以尝试修改以下:

jobmanager.rpc.port: 6123
jobmanager.memory.process.size: 1600m
taskmanager.memory.process.size: 8192m
taskmanager.numberOfTaskSlots: 6
parallelism.default: 1
heartbeat.timeout: 180000
jobmanager.execution.failover-strategy: region
rest.port: 52002
jobmanager.archive.fs.dir: file:///data/completed-jobs/
historyserver.web.port: 52003
historyserver.archive.fs.dir: file:///data/completed-jobs/
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值