记一次YarnClient使用过程中遇到的问题

最新推荐文章于 2023-02-16 10:50:01 发布
原创 最新推荐文章于 2023-02-16 10:50:01 发布 · 721 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文探讨了在YARN环境中，通过kerberos认证后，能够正常查询nodereport，但在调用getApplications接口时出现异常的问题。异常表现为从客户端到RM的protobuff格式错误，导致RM端出现异常信息。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

问题现象：
yarnClient通过kerbroes认证，查询nodereport正常，但是当使用getApplications时，查询失败，日志中提示从客户端发送给RM的protobuff格式不对，在RM产生了异常信息。

flink实战--flink on yarn
阿华田的博客
10-31 5940
Flink on yarn 配置 如果我们打算把flink任务提交到yarn上，那么只需要一台flink客户机即可，但是需要有如下的配置 第一步：设置HADOOP_CONF_DIR环境变量 export HADOOP_CONF_DIR=/usr/local/service/hadoop/etc/hadooop/ 注意：如果在flink的配置文件中设置Hadoop的环境变量，......
spark yarn 提交流程
文报的博客
12-09 2100
1.Client向RM提交请求,上传jar包到HDFS上 2.RM在集群中选择一个NM,在其上启动AppMaster，在AppMaster中实例化SparkContext(Driver) 3.AppMaster向RM注册应用程序并申请资源。RM监控AppMaster的状态直到AppMaster结束。 4.AppMaster申请到资源后，与NM通信在Container中启动Executor进程 5.Executor向driver反向注册，申请任务 6.Driver对应用进行解析，最后将Task发送到Exe..
Spark中Yarn-Client模式提交任务出现的问题：Failed to contact YARN for application
分享技术相关博文
11-05 5853
首先启动Hadoop集群，然后提交jar（spark-submit --master yarn --class org.apache.spark.examples.SparkPi ./spark-examples-1.6.0-hadoop2.6.0.jar 10）后： 出现的问题：2018-11-01 09:33:44 INFO BlockManagerInfo:54 - Updated bro...
【kerberos】org.apache.hadoop.security.AccessControlException: Client cannot authenticate via:[TOKEN,
Mrerlou的博客
02-16 2442
在用SUSE 操作系统安装 CM 大数据平台，在集群开启 kerberos 后，使用 HDFS 命令报错如下： 环境信息 SUSE Linux Enterprise Server 12 Service Pack 1 (SLES 12 SP5) 仔细看，在使用 klist 命令时，有个 他指向的路径是： 而在执行 命令时，有个 他指向的路径是 默认是去 目录下找 缓存。然后 SUSE 操作系统下 并不是放在 目录下，导致 客户端认为你没有进行 认证。所以报错。在中，我们增加了下面的参数以后
Hadoop集成kerberos后,报错:AccessControlException: Client cannot authenticate via:[TOKEN, KERBEROS]
张伯毅的专栏
03-28 1万+
1. 背景 Hadoop在安装完HDFS之后, WEB UI 访问正常.kinit -kt xxx 认证成功. 然后在命令行执行执行hadoop相关指令的时候,报错. 2. 报错信息 错误信息 : AccessControlException: Client cannot authenticate via:[TOKEN, KERBEROS] [root@master01 ~]# klist Ticket cache: KEYRING:persistent:0:krb_ccache_MkHX3zi Defau
【YARN】问题汇总（持续更新）
lin86182824的博客
07-29 2838
1、TEZ一直卡主 原因是：集群的 mapreduce.map.cpu.vcores 改成了 4，hive 默认会使用这个参数作为 tez container 的 vcores。tez vcores 大于 1 时会导致无法正常启动 container，可以设置参数 hive.tez.cpu.vcores=1 来解决。 ......
解决spark任务Futures timed out after...问题
KevinChao888的博客
09-23 1万+
一、问题 19/09/23 19:10:49 ERROR ApplicationMaster: Uncaught exception: java.util.concurrent.TimeoutException: Futures timed out after [100000 milliseconds] at scala.concurrent.impl.Promise$Defa...
记录一次Flink作业异常的排查过程
HeapDump性能社区的博客
06-17 2198
本文来自: PerfMa技术社区 PerfMa(笨马网络)官网 最近2周开始接手apache flink全链路监控数据的作业，包括指标统计，业务规则匹配等逻辑，计算结果实时写入elasticsearch. 昨天遇到生产环境有作业无法正常重启的问题，我负责对这个问题进行排查跟进。 第一步，基础排查 首先拿到jobmanager和taskmanager的日志，我从taskmanager日志中很快发现2个基础类型的报错，一个是npe，一个是索引找不到的异常 elasticsearch sinker在执行写入数.
【Hadoop】Hadoop/Yarn中hdfs与mapreduce相关问题汇总
zwan0518的专栏
06-24 5571
在hadoop启动的时候，会出现各种各样的问题，NameNode，JobTracker等各个模块都会有莫名奇妙的问题出现，在这里对hdfs的问题进行一下简单的记录 1：HDFS initialized but not 'healthy' yet, waiting... 这个日志会在启动hadoop的时候在JobTracker的log日志文件中出现，在这里就是hdfs出现问题，导致DataNod
jupyter-notebook 以yarn模式运行出现的问题及解决
weixin_37353303的博客
11-21 3033
jupyter-notebook 以yarn模式运行的出现的问题及解决方法 之前用pyspark虚拟机只跑了单机程序，现在想试试分布式运算。 在做之前找了书和博客来看，总是有各种各样的问题，无法成功。现在特记录一下过程： 这里一共有两个虚拟机，一个做master,一个做slave1 虚拟机slave1安装spark slave1之前已经安装了hadoop，并且可以成功进行Hadoop集群运算。这...
yarn3.2源码分析之YarnClient与ResourceManager通信之submitApplication
lzf的博客
04-21 1712
概述 YarnClient通过ApplicationClientProtocol与ResourceManager通信。YarnClient通过它完成向RM提交应用程序、查看应用程序状态、控制应用程序（杀死）等。在ResourceManager中，负责与YarnClient通信的组件是ClientRMService。如果是submitApplication等通信，ClientRMService再转...
spark on yarn 的一些问题、hbase关闭问题
weixin_42496757的博客
02-24 611
spark on yarn 报错: When running with master 'yarn-client' either HADOOP_CONF_DIR or YARN_CONF_DIR must be set in the environment. 在spark-env.sh中  export  HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop  Neit...
Ambari组件停止失败
TT-Learning
04-27 1525
问题： 在Ambari页面关闭组件时，始终关闭不成功，重启 ambari-server、重启节点都解决不了该问题，日志中也缺少保存信息？？ 报错如下： On host hostname role YARN_CLIENT in invalid state. Invalid transition. Invalid event: HOST_SVCCOMP_OP_IN_PROGRESS at INSTA...
SpringBoot下YarnClient使用
仙道Bob的专栏
10-26 4293
1.pom.xml <properties> <!-- hadoop client --> <hadoop.client.version>2.6.0</hadoop.client.version> <!-- hadoop yarn api --> <hadoop.yarn.api.version>2.6.0</hadoop.yarn.api.version>
YARN批处理方式kill Applications解决方案
热门推荐
走在前往架构师的路上
01-05 1万+
前言在使用hadoop集群的时候,所有的任务都是最终以Application的形式跑在集群中,不管你是自己写的MR程序亦或是你写的hive sql转化成的mr任务,最终都是以Application应用的身份在跑.这些Application跑完之后,这些信息在jobHistory中就可以看了,可以说hadoop在这方面做得真的非常完整.但是完善归完善.但是jobHistory可以说是一种"事后分析"
yarn client中的一个BUG的修复
xiao_jun_0820的专栏
02-20 3108
org.apache.spark.deploy.yarn.Client.scala中的monitorApplication方法： /** * Report the state of an application until it has exited, either successfully or * due to some failure, then return a pair o
hadoop：hdfs/yarn启动停止
不花的花和尚的博客
05-29 3259
本人环境： 3台虚拟机分别为 sparkproject1 192.168.124.110 sparkproject2 192.168.124.111 sparkproject3 192.168.124.112 linux（vi /etc/hosts）和windows配置hosts文件（C:\Windows\System32\drivers\etc） ： # Copyri...
Hadoop ResourceManager 高可用其中一个启动失败（注意）：配置yarn.resourcemanager.ha.id说明
离风的博客
05-06 2752
在配置 hadoop 的 yarn 高可用时，初学时理所应当认为 hadoop 的所有所有节点的 site 等配置文件是一致的，但是这里要强调一点，yarn-site.xml 的 yarn.resourcemanager.ha.id 属性在 2 台 resourcemanager（同namenode）节点的值是不能一样的，如果一样会出现：java.net.BindException: Port i...
安装Hadoop过程中遇到的问题及解决方案
根据给定的文件信息，我们将重点解析在安装...遇到问题时，应逐步排查和解决问题，确保每一个环节都正常运行。通过本文，读者应能够对Hadoop的安装过程有一个全面的了解，并且掌握解决安装过程中可能出现问题的方法。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值