Flink on Yarn启动问题

hadoop:hdfs/yarn启动停止 本人环境: 3台虚拟机分别为 sparkproject1 192.168.124.110 sparkproject2 192.168.124.111 sparkproject3 192.168.124.112 linux(vi /etc/hosts)和windows配置hosts文件(C:\Windows\System32\drivers\etc) : # Copyri... 阅读详情

一、Fink on YARN启动后自动关闭

使用./bin/yarn-session.sh  -n 2 -s 2 -jm 1024 -tm 1024命令启动,过几秒就关闭了

经测试发现,是由于分配的内存太大导致的,把分配的内存调小,尝试改为800 即可正常启动。很可能你修改为800的内存后,进程还是会被kill掉。

这个报错是虚拟内存(virtual memory)超出限制,被yarn kill了。有可能你用的是虚拟机或者你们的服务器也是虚拟化出来的,可能就会报这个错误。
这是因为有虚拟内存的设置,而使用的过程中超出了虚拟内存的限制,所以报错
有如下两种解决办法:

1.在etc/hadoop/yarn-site.xml文件中,修改检查虚拟内存的属性为false

<property>  
    <name>yarn.nodemanager.vmem-check-enabled</name>  
    <value>false</value>  
</property> 

wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw==

2.在/etc/hadoop/yarn-site.xml文件中,设置如下参数

<property>
    <name>yarn.nodemanager.vmem-pmem-ratio</name>
    <value>100</value><!--自定义-->
</property>

 

Flink案例系列2-提交到yarn集群报错java.lang.NoClassDefFoundError FlinkKafkaConsumer 文章目录一.问题描述二.解决方案2.1 代码的问题?2.2 maven依赖的问题2.3 手工上传jar包2.3.1 上传FlinkKafkaConsumer相关的jar包2.3.2 上传FlinkKafkaConsumerBase相关的jar包 一.问题描述 环境介绍: CDH 6.3.1集群 Flink版本 1.9.0 Kafka版本 2.12 本地运行无问题,提交到yarn集群报错 代码: package org.example; /* @author 只是甲 * @date 2021- 阅读详情

相关推荐

Flink:Yarn-Session 启动

背景: 自己搭建了flink 单机版本时,到 flink on yarn 这一步卡住了,不能正常运行执行./bin/yarn-session.sh -n 4 -jm 1024m -tm 4096m 包括 GetClusterMetricsRequestProto cannot be cast to com.google.protobuf.Message 主要原因是未指定HADOOP_CONF_DIR环境变量,下面给出整个过程 ##1. 参照文档,下载&&编译flink 源码,这个时候,s

u012566690的专栏 3124

flink on yarn

在flink on yarn模式中 flink yarn-session的两种提交方式 1.公用一个yarn-session 在yarn中初始化一个flink集群,开辟指定的资源,以后提交任务都向这里提交。这个flink集群会常驻在yarn集群中,除非手工停止。 2.每个job提供一个yarn-session 每次提交都会创建一个新的flink集群,任务之间互相独立,互不影响,方...

zhangkai0575的博客 761

【Flink】flink on yarn per-job模式jobmanager不退出

flink on yarn per-job模式,使用savepoint 保存点停止任务后,yarn界面上还剩下一个jobmanager 一直显示在。yarn-cluster -d 加上, 不加-d task结束会保留jobmanager。原因一样,后来发现不是。开始遇到这个问题以为和。

九师兄 1121

详解Flink运行架构

1 Flink运行时的组件       Flink运行时架构主要包括四个不同的组件,它们会在运行流处理应用程序时协同工作:作业管理器(JobManager)、资源管理器(ResourceManager)、任务管理器(TaskManager)和分发器(Dispatcher)。因为Flink是用Java和Scala实现的,所以所有组件都会运行...

huahuaxiaoshao的博客 2396

PP生产订单的BADI增强 WORKORDER_UPDATE

我们的项目需求是: 1、 保存时检查工单BOM是否存在物料号相同的行项目,如果有则提示“物料& 重复,请检查工单BOM” 系统增强出口:PPCO0001,检查组件行项目是否有重复物料项 开始以为的增强增强看一下是用PPCO0001还是PPCO0007 后来找到了badi WORKORDER_UPDATE IF_EX_WORKORDER_UPDATE~BEFORE_UPDATE

ERP运维咨询(目标和成功) 4636

别再用RIDE了!VSCode+RobotFramework插件打造现代化测试开发环境

本文介绍了如何利用VSCode和RobotFramework插件构建现代化的测试开发环境,替代老旧的RIDE工具。详细讲解了环境配置、插件安装、智能代码补全、测试运行与调试等核心功能,帮助开发者提升自动化测试效率。文章还提供了高级技巧、最佳实践和常见问题解决方案,助力团队实现平滑迁移。

weixin_28829629的博客 480

Flink提交jar(带依赖)出现找不到类NoClassDefFoundError+ClassNotFoundException、类冲突NoMatching.....,的解决办法

Flink提交jar(带依赖)出现找不到类NoClassDefFoundError+ClassNotFoundException、类冲突NoMatching…,的解决办法 博主结合以下文章进行了总结 官方文档 Flink官方文档 阿里云开发者社区 Datastream 开发打包问题 阿里云云栖号优快云博客 Datastream 开发打包问题 Flink程序打包,要遵顼以下要求 Hadoop依赖不打包。 使用Table API 带多个flink-connector-xxx.jar,需要自

《@书山有径%》的博客 9662

空心杯电机在美容仪器中的应用:为什么你的洗脸刷动力这么强?

本文深入解析了空心杯电机如何成为高端美容仪器的核心动力源。通过对比传统电机,揭示了其无铁芯、低惯量、零齿槽效应的技术优势,从而实现了强劲动力、极致静音与细腻震动的用户体验。文章详细阐述了空心杯电机在洁面刷、导入仪等美容仪器中的具体应用与选型考量,并指出了开发中驱动匹配、测试等关键实战要点。

j2k3l4的博客 1013

flink on yarn集成到CDH 启动几分钟后自动挂掉

我整理的一些关于【CD,HA】的项目学习资料(附讲解~~)和大家一起分享、学习一下:https://d.51cto.com/xltfovFlink on YARN 集成到 CDH 启动几分钟后自动挂掉的解析 Apache Flink 是一个分布式流处理框架,能够帮助我们处理实时数据流。Flink on YARN 是将 F...

weixin_36047538的博客 205

061、LQR(线性二次型调节器)控制基础

本文介绍了LQR(线性二次型调节器)控制在飞控系统中的应用。作者通过一次四旋翼炸机事故引出PID控制的局限性,详细讲解了LQR的数学原理、权重矩阵的物理意义以及实际工程实现方法。文章对比了LQR与PID的控制效果,指出LQR在鲁棒性方面的优势,同时也分析了其存在稳态误差等缺点。最后总结了LQR在飞控中的适用场景,建议将LQR与PID结合使用,并预告了下一章将讨论带积分项的LQI控制。全文包含具体案例、代码实现和调参经验,为飞控算法开发者提供了实用指导。

2401_88858637的博客 720

构建个体结构脑网络的另一种方法

这篇文献提出了一种构建个体结构脑网络的方法即Morphometric INverse Divergence (MIND),通过T1像数据即可对每个被试构建一个脑网络,且通过多个特征进行构建而非单一的特征。即可获得由4个特征得到的个体结构网络矩阵,可以根据自己的需求采用不同的特征组合得到网络矩阵,也可以结合T1/T2像得到髓鞘化相关的网络矩阵,后续可修改代码批量处理自己的数据。这是文献贴出来的代码。在终端直接克隆到本地。2.修改路径运行代码。

weixin_52073820的博客 823

在flink on yarn启动时,由于超过虚拟内存而启动不了的解决办法参考下面的链接

https://www.cnblogs.com/xjh713/p/9681442.html

liangsir 983

【72】【OpenCV C++ & C#】 将cv::Mat 图像转换成imgINFO 传给c#在winform上显示,OpenCV C++如何将处理后的图像传给C#呢? 如何获取图像信息呢?

本文介绍了通过OpenCV C++处理图像后传递给C#的方法。首先定义了一个结构体imgINFO存储图像信息(数据指针、宽高、通道数等),然后通过getImgInfo函数将cv::Mat转换为该结构体。文章特别指出当图像宽度不能被4整除时可能出现失真问题,并给出了两种解决方案:调整输入图像或创建新的对齐图像。此外还解释了img.step和img.cols*img.elemSize()的关系,说明它们在大多数情况下是相等的。最后提到需要通过DLL将结构体传递给C#(具体方法参见其他文章)。

程序员,他们想的是什么?他们想的永远都是技术,他们崇尚的也永远都是技术。 697

flink on yarn启动失败

我启动hadooponyarn集群后 [root@node1flink-1.6.1]#./bin/yarn-session.sh-n2-jm1024-tm1024 报的如下错误 1 Caused by: org.apache.flink.yarn.AbstractYarnClusterDescriptor$YarnDeploymentException: The ...

qq_27736105的博客 4325

某瓜数据app 获取达人直播商品信息接口 Sign

某瓜数据app 获取达人直播商品列表接口 Sign

自成背后的博客 6039

计算机视觉 | 面试题:01、过拟合和欠拟合的表现与解决方法

问题 过拟合和欠拟合的表现和解决方法。 其实除了欠拟合和过拟合,还有一种是适度拟合,适度拟合就是我们模型训练想要达到的状态,不过适度拟合这个词平时真的好少见,在做酷狗音乐的笔试题时还懵逼了一会,居然还真的有这样的说法。 这应该是基础中的基础了,笔试题都做烂了。那就当做今天周末,继续放个假吧…… 过拟合 过拟合的表现 模型在训练集上的表现非常好,但是在测试集、验证集以及新数据上的表现很差,损失曲线呈现一种高方差状态。(高方差指的是训练集误差较低,而测试集误差比训练集大较多) 过拟合的原因 从两个角度去分析

Mrrunsen的博客 869

Flink on yarn 不废话集群部署

文章目录Flink on yarn 集群部署前言先安装好yarn集群,在我们这个环境中使用的是CDH6.3,也就是基于hadoop3.0的大数据生态环境flink部署1.包下载2.将所下载的包放置/opt/flink下进行解压安装3.切换到相关目录4.配置hadoop相关路径5.如果第四步采用后仍然报错找不到相关包,则切换到lib包中并将相关hadoop包放置lib目录下6.确保你的环境有足够的内存能够启动集群后,开始进行启动7.启动成功后,会提供客户端网址,输入浏览器可进行查看,成功代表集群已经启动 Fl

weixin_42507474的博客 2505

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

Flink 1.10 :第一次运行报错:ClassNotFoundException: yarn.exceptions.YarnException

flink有三种启动方式。本地方式,集群方式,和flink on yarn。 现在说第三种生产上最常用的flink on yarn方式。 首先启动flink on yarn。 出现问题: 第一次运行报错:ClassNotFoundException: yarn.exceptions.YarnException 这个错误,解决方法很简单。需要把把官方的flink-shaded-hadoop-2-uber-2.7.5-7.0.jar放到flink的lib目录里。 由于这个包在国外服务器上,下载很慢,

joomlaer的专栏 1214

数学建模模型总结

这是本人在两年内准备参加数学建模竞赛搜集到的模型资料,已经经过了本人的筛选和整理,希望能够对准备参加数学建模竞赛的学弟学妹们提供一些帮助!

RU DOS版、EFI版32bit/64bit BIOS常用工具

DOS版、EFI版的RU工具,可用来查看IO、MEM、PCI、SMBIOS等资源。亲测在EFI SHELL下可用。

CDH FLINK ON YARN 配置 env.java.opts: -Dfile.encoding=UTF-8 无法启动问题

将下载的jar包--FLINK_ON_YARN-1.13.5.jar 内部文件scripts/contol.sh的37行替换为sed -i 's#=#: #' $CONF_DIR/flink-conf.properties。

qq_43507474的博客 350

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

Flink on YARN(上):一张图轻松掌握基础架构与启动流程

https://developer.aliyun.com/article/719262?spm=a2c6h.14164896.0.0.2cc632d1o13Sto

要记得输出! 535

Flink基于Yarn多种启动方式详解

随着大数据实时计算需求的日益增长,Flink已成为业界主流的流处理引擎。而在企业级大数据平台中,资源管理和作业调度一般交由Yarn完成。Flink与Yarn深度集成后,不仅充分利用Hadoop生态资源,还能灵活应对各种作业调度和资源隔离需求。本文将系统介绍Flink on Yarn的多种启动方式、适用场景、配置方法及常见问题。Yarn(Yet Another Resource Negotiator)是Hadoop生态的资源管理和调度平台。它负责集群资源统一分配、作业调度和生命周期管理,是目前大数据平台主流的

IT技术学习与工作笔记分享 1874

Flink 会话模式Yarn部署完成后无法提交作业

Flink 会话模式Yarn部署完成后无法提交作业

qq_44540985的博客 1610

flink启动报错

flink 启动报错 flink on yarn 启动报错: 连接不到xxx:8032 我的原因是flink.yaml中dfs的地址错误。 还有就是启动时进行内存检测,内存不足报错: 2018-05-19 15:30:10,456 WARN akka.remote.ReliableDeliverySupervisor - Association wi...

weixin_45230582的博客 2229

Flink on YARN(下):常见问题与排查思路

Flink 支持 Standalone 独立部署和 YARN、Kubernetes、Mesos 等集群部署模式,其中 YARN 集群部署模式在国内的应用越来越广泛。Flink 社区将推出 Flink on YARN 应用解读系列文章,分为上、下两篇。上篇分享了基于 FLIP-6 重构后的资源调度模型介绍 Flink on YARN 应用启动全流程,本文将根据社区大群反馈,解答客户端和 Flink ...

zhaowei121的博客 2319

flink on yarn 启动源码分析

flink on yarn 启动问题   有两个月没发文了,这次在沉寂了两个月后带来的是我们在日常启动flink时大都会遇到的一个问题,不过也困扰了我断断续续有两天时间,后来在拨云见日之后发现豁然开朗的本质,其实,我们的解决问题时,有时候还是只浮于表面,而没有看到深藏冰面以下的那一角,所以继续努力是少不了的,那么切开问题,我们来从现象入手吧! 1.flink启动现象   我们还在用flink on...

weixin_39545874的博客 888
上一篇: com.mongodb.MongoSocketOpenException: Exception opening socket
下一篇: Spring Cloud Eureka元数据自定义
LuckyJiang.2021
博客等级 码龄15年 217粉丝 199原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

LuckyJiang.2021

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值