requirement failed: Can only call getServletHandlers on a running MetricsSystem

最新推荐文章于 2024-01-07 04:30:00 发布
最新推荐文章于 2024-01-07 04:30:00 发布
阅读量3.7k 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 大数据-spark
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.youkuaiyun.com/qq_21383435/article/details/98872893
本文介绍了在尝试运行一个使用Spark Structured Streaming SQL并调用自定义Hive UDF的程序时遇到的问题。背景是进行数据处理，通过Hive UDF实现在原有数据后添加后缀并成功注册到Hive。然而，在本地环境连接远程Spark集群进行测试时，出现了'requirement failed: Can only call getServletHandlers on a running MetricsSystem'的错误。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

在这里插入图片描述

1.背景

我想运行一个spark structured steaming sql的程序，主要是想测试一个hive函数

2. hive UDF函数

package com.dtwave.udf;


import org.apache.hadoop.hive.ql.exec.UDF
了解本专栏 订阅专栏 解锁全文
【问题解决】python任务提交到spark集群报错，提交本机没问题：requirement failed: Can only call getServletHandlers on a runni
nazhidao的专栏
04-17 1万+
在Pycharm里执行python程序提交到spark集群一直报错：requirement failed: Can only call getServletHandlers on a running MetricsSystem本地提交到本机Spark没问题。代码片段如下，用的spark官网的例子（点击打开链接）：logFile = "/home/ubutnu/spark_2_2_1/README....
Spark on K8s: Failed to connect to spark-master:7077
成长日记
12-28 899
服务找不到Spark master 服务地址。
在本地运行scala程序报错 requirement failed: Can only call getServletHandlers on a running MetricsSystem
qq_14945847的博客
05-06 2175
在本地运行scala程序报错 requirement failed: Can only call getServletHandlers on a running MetricsSystem
Can only call getServletHandlers on a running MetricsSystem解决方法
qq_43408367的博客
08-02 2964
运行Spark集群时（standalone 模式下）出现Can only call getServletHandlers on a running MetricsSystem报错。第一种：遇到这种报错可以先查看下集群的worker，如果集群的 worker 挂掉了，重启下就好了。第三种：上一条中的spark.master端口没开，或者防火墙没关，属于网络问题，仔细排查下就行了。第二种：配置搞错了，查看spark-env.sh和spark-defaults.conf 文件。...
Spark standalone打包到集群测试错误：Can only call getServletHandlers on a running MetricsSystem
weixin_45892401的博客
07-20 788
Spark standalone打包到集群测试错误：Can only call getServletHandlers on a running MetricsSystem 发现是spark集群的worker节点进程掉了，cd 到spark目录下 sbin/start-all.sh 重启集群就好了
Can only call getServletHandlers on a running MetricsSystem
weixin_42926783的博客
12-25 7473
Spark 的 standalone 模式，运行报错 Can only call getServletHandlers on a running MetricsSystem 然后我去 8080 端口查看了一下，发现 spark 集群的 worker 都挂掉了，重启了spark 集群，好了 ...
ERROR SparkContext:91 - Error initializing SparkContext. java.lang.IllegalArgumentException: requirement failed: Can only call getServletHandlers on a running MetricsSystem at scala.Predef$.require(Predef.scala:224) at org.apache.spark.metrics.MetricsSystem.getServletHandlers(MetricsSystem.scala:91) at org.apache.spark.SparkContext.<init>(SparkContext.scala:515) at org.apache.spark.SparkContext$.getOrCreate(SparkContext.scala:2493) at org.apache.spark.sql.SparkSession$Builder$$anonfun$7.apply(SparkSession.scala:934) at org.apache.spark.sql.SparkSession$Builder$$anonfun$7.apply(SparkSession.scala:925) at scala.Option.getOrElse(Option.scala:121) at org.apache.spark.sql.SparkSession$Builder.getOrCreate(SparkSession.scala:925) at org.apache.spark.examples.SparkPi$.main(SparkPi.scala:31) at org.apache.spark.examples.SparkPi.main(SparkPi.scala) at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) at java.lang.reflect.Method.invoke(Method.java:498) at org.apache.spark.deploy.JavaMainApplication.start(SparkApplication.scala:52) at org.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:894) at org.apache.spark.deploy.SparkSubmit$.doRunMain$1(SparkSubmit.scala:198) at org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:228) at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:137) at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala) 2025-03-26 11:52:11 INFO SparkContext:54 - SparkContext already stopped. 2025-03-26 11:52:11 INFO SparkContext:54 - Successfully stopped SparkContext Exception in thread "main" java.lang.IllegalArgumentException: requirement failed: Can only call getServletHandlers on a running MetricsSystem at scala.Predef$.require(Predef.scala:224) at org.apache.spark.metrics.MetricsSyste
最新发布
03-27
嗯，用户遇到了Spark初始化时的IllegalArgumentException错误，具体提示是“Can only call getServletHandlers on a running MetricsSystem”。我需要先理解这个错误的原因。根据错误信息，看起来是在初始化...
spark启动spark-shell报错
04-29
3. 错误：`java.lang.IllegalArgumentException: requirement failed: Can only call getServletHandlers on a running MetricsSystem` 解决方法：这个错误通常是由于Spark配置文件中的一些错误引起的。请检查`...
. java.lang.IllegalArgumentException: requirement failed: Can only call getServletHandlers on a runn
阿拉修
07-12 1624
在服务器上运行Spark程序报错 经过排查spark Master和Worker服务没有启动，启动之后再提交运行就正常了。
已解决java.lang.IllegalArgumentException异常的正确解决方法，亲测有效！！！
小明的Java问道之路
01-07 3万+
IllegalArgumentException是由于传递给方法的参数非法或不正确而引发的，要解决这个问题，需要在调用方法前验证输入，并在方法内部使用断言来检查参数的有效性。
spark本地提交集群运行踩过的坑
weixin_44273391的博客
11-02 2981
spark本地提交集群运行踩过的坑 1.本地提交，集群跑spark程序设置(scala) val conf = new SparkConf().setAppName("SparkWordCount") conf.setMaster("spark://hadoop-01:7077") conf.setJars(Array("D:\\hadoop\\spark\\target\\zb...
搭建Spark HA 模式
知其然，知其所以然
01-12 681
（1）基于文件系统的单点恢复 主要用于开发或测试环境。当spark提供目录保存spark Application和worker的注册信息，并将他们的恢复状态写入该目录中，这时，一旦Master发生故障，就可以通过重新启动Master进程（./sbin/start-master.sh），恢复已运行的spark Application和worker的注册信息。 基于文件系统的单点恢复，主要是在sp...
大数据【Scala】【Spark SQL】error: object read is not a member of package org.apache.spark
sunshine77_的博客
03-11 5785
1. 在创建DataFrame的时候出现了一个问题 scala> val df3 = spark.read.json("/usr/local/tmp_files/people.json") <console>:17: error: not found: value spark val df3 = spark.read.json("/usr/l...
Spark集群启动之Master、Worker启动流程源码分析
吟啸徐行
03-08 1318
Spark集群启动Master可以使用脚本启动：start-master，shell脚本细节自行查看。 最终启动命令为:java -cp /home/daxin/bigdata/spark/conf/:/home/daxin/bigdata/spark/jars/*:/home/daxin/bigdata/hadoop/etc/hadoop/ -Xmx1g -XX:MaxPermSize=256
java.lang.IllegalArgumentException 异常报错完美解决
热门推荐
辰小白
07-12 16万+
目录 修改JDK使用版本 修改开发工具idea配置（eclipse的直接跳过这个看下面） 修改开发工具eclipse配置 学习spring依赖注入的时候碰到这个坑，折腾了许久，记录一下以防其他小伙伴入坑！ 该异常主要原因是因为JDK与Spring版本不一致。要么更换jdk，要么重新下载符合jdk的springjar包 我本地装了两个JDK版本，一个1.8，一个1.7，原本以为只要修改一...
Spark测量系统 MetricsSystem
u013597009的博客
12-30 2659
Spark测量系统，由指定的instance创建，由source、sink组成，周期性地从source获取指标然后发送到sink，其中instance、source、sink的概念如下： Instance：指定了谁在使用测量系统，在spark中有一些列如master、worker、executor、client driver这些角色，这些角色创建测量系统用于监控spark状态，目前在spark中
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值