flink1.8.2 on yarn 运行在jdk1.7环境上

最新推荐文章于 2024-03-20 14:01:55 发布

南修子

最新推荐文章于 2024-03-20 14:01:55 发布

阅读量876

点赞数

CC 4.0 BY-SA版权

分类专栏： Flink-实战文章标签： flink java jdk

本文链接：https://blog.youkuaiyun.com/huang_rx/article/details/106788324

Flink-实战专栏收录该内容

13 篇文章 ¥39.90 ¥99.00

订阅专栏

本文档介绍了如何在YARN集群上运行Flink 1.8.2，尽管Flink本身要求JDK 1.8，但当前环境仅提供JDK 1.7。通过特定配置，实现了兼容性。

要知道flink是建立在jdk1.8上面的，奈何集群环境的是1.7

flink-conf.yaml

追加三行

env.java.home: /opt/jdk1.8.0_31
containerized.master.env.JAVA_HOME: /opt/jdk1.8.0_31
containerized.taskmanager.env.JAVA_HOME: /opt/jdk1.8.0_31

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

南修子

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
1
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

专栏目录

订阅专栏

Flink学习笔记：搭建Flink on Yarn环境并运行Flink应用

howard2005的专栏

04-20

1736

搭建Flink on Yarn集群，几种方式运行Flink应用

Apache Flink连载（十八）：Flink On Yarn运行原理及环境准备

qq_32020645的博客

12-27

1834

🏡 个人主页：IT贫道_大数据OLAP体系技术栈,Apache Doris,Clickhouse 技术-优快云博客🚩 私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。🔔 博主个人B栈地址：豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频。

1 条评论您还未登录，请先登录后发表或查看评论

1 条评论

weixin_50231941 2022.09.06
博主能否再详细说明下这个jdk1.8 是指定的哪台节点的路径，是否需要另外单独安装？

Flink1.13.2运行在大数据星环TDH集群的jdk1.7上解决办法

forgax的博客

03-08

3054

Flink1.13.2运行在的大数据TDH集群的JDK1.7上

解决Spark，MapReduce和Flink提交到yarn集群jdk版本不一致问题

优快云_Hzx的博客

12-10

767

最近遇到一个问题，在提交spark任务到yarn集群报错，具体报错内容如下： Exception in thread "main" java.lang.UnsupportedClassVersionError: com/iteblog/mobile/UserMobileInfo : Unsupported major.minor v at java.lang.ClassLoader.defineClass1(Native Method) at java.lang.ClassLoader.defineCl

flink on yarn集群部署模式

m0_73814022的博客

01-17

1711

介绍YARN 上部署的过程是：客户端把 Flink 应用提交给 Yarn 的ResourceManager, Yarn 的 ResourceManager 会向 Yarn 的 NodeManager 申请容器。在这些容器上，Flink 会部署JobManager 和 TaskManager 的实例，从而启动集群。Flink 会根据运行在 JobManger 上的作业所需要的 Slot 数量动态分配TaskManager 资源。集群部署模式分为1.会话模式2.单作业模式3.应用模式。

flink 1.7.2 安装详解

weixin_30730151的博客

06-26

460

##flink 1.7.2 安装需要java环境下载地址 https://flink.apache.org/downloads.html#1、单机版 #创建用户flinkuseradd flink -d /home/flinkecho "flink123" | passwd flink --stdin #解压tar -zxvf flink-1.7.2-bin-hadoop26-s...

flink安装

Lipeaun的博客

12-31

513

下载从https://archive.apache.org/dist/flink/flink-1.7.2/下载1.7.2版本或者官网https://flink.apache.org/zh/downloads.html#section-7下载最新版基础环境 flink核心模块均使用Java开发，所以运行环境需要依赖JDK，需要注意的是JDK版本需要保证在1.8以上。 1、下载好所需版本的jdk 可以去官网下载www.oracle.com一定要下载linux版本的可参考：https://blog.c

flink1.16.1提交任务到yarn集群遇到jdk版本较低的解决方案

Sky_WANGJ的博客

02-06

1846

flink

Apache Flink连载（二十一）：Flink On Yarn运行原理-Yarn Application模式

qq_32020645的博客

12-30

1228

flink的onYarn模式环境搭建

qw3276425405的博客

05-27

1382

一.onYarn模式把资源管理器交给yarn模式进行管理 1.两种运行模式 1）session-cluster模式 session：会话，开辟一块新的公共的空间先启动集群，直接向yarn申请空间，资源（session）保持不变，这个集群会常驻在yarn的集群中，不需要时进行手动停止，job任务可以向这个session提交，所有任务共享这个session，如果资源用完，需要等待之间的任务执行完毕释放资源才可以使用。例：有100个工人，装修公司有5家，a公司有30人，b公司有10人等，a公司不

Flink学习（1）：Flink本地模式安装及简单试用

邢慧鹏的博客

12-01

3673

Flink 的本地模式安装及简单试用，基本参照官网教程进行。

Flink1.18.1在CentOS7下的安装和部署

最新发布

laolitou_1024的博客

03-20

3001

本文是Flink1.18.1在CenOS7下的安装和部署的学习笔记，记录了基本的安装步骤及参数配置，给初学者避坑用。

flink on yarn集群环境(生产环境使用)

cqscf的博客

04-18

4049

flink on yarn集群环境(生产环境使用)

Flink on yarn的配置及执行

weixin_30292843的博客

03-20

860

1. 写在前面 Flink被誉为第四代大数据计算引擎组件，即可以用作基于离线分布式计算，也可以应用于实时计算。Flink可以自己搭建集群模式已提供为庞大数据的计算。但在实际应用中。都是计算hdfs上的数据文件，所以更多的建立在基于hadoop集群，而hadoop集群的资源调度组件为yarn，所以Flink on yarn本身就是提供了集群模式，将flink计算的资源调度和管理交给yarn，这里详细...

flink on yarn、资源及状态管理

mapeng765441650的博客

07-05

5531

flink源码学习： http://www.cnblogs.com/bethunebtj/p/9168274.html flink on yarn 执行任务的两种方式 1.yarn-session.sh(开辟资源)+flink run(提交任务) 1.在yarn中起一个守护进程，用于启动多个job,即一个application master 管理多个job 2.启动命令： ./yarn...

flink部署-1.14

第一片心意的博客

12-10

2784

本博客为 flink 1.14 官网中对 flink 部署部分的内容翻译整理。

如何在Spark，MapReduce和Flink程序里面指定JAVA_HOME

优快云_Hzx的博客

06-04

1835

最近遇到一个bug，自己编写的spark程序本地调试没问题之后想提交到集群上运行，报错内容如下： Exception in thread "main" java.lang.UnsupportedClassVersionError: com/iteblog/mobile/UserMobileInfo : Unsupported major.minor version 52.0 现特此整理了一下分享给大家：其实报错已经很明显了，java8版本有问题，那具体原因是什么呢，其实就是本地编写spark用的是j

大数据-flink - java使用 flink 1.7/1.10版本

xinSmile的博客

07-17

1610

1、docker 安装kafka版本 KAFKA_VERSION 2.5.0 SCALA_VERSION 2.12 2、flink-connector maven 配置，注意红色部分 <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-connector-kafka_${scala.binary.version}</ar...

Flink 1.12.5 on Yarn 模式运行所需完整Lib包

综上所述，该压缩包所提供的“完整lib包”不仅是 Flink 1.12.5 在 YARN 上运行的技术基础，更是保障作业稳定执行的核心要素。它体现了现代分布式系统对依赖管理、资源调度和跨节点协同的高度要求。对于开发人员和...