Spark SQL 和 Hive UDF ExceptionInInitializerError getRemoteBlockReaderFromTcp BlockReaderFactory

最新推荐文章于 2023-02-28 17:23:28 发布
最新推荐文章于 2023-02-28 17:23:28 发布
阅读量1k 收藏 2
点赞数
CC 4.0 BY-SA版权
分类专栏： 大数据-spark
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.youkuaiyun.com/qq_21383435/article/details/98873326
博客作者在运行Spark Structured Streaming SQL时遇到ExceptionInInitializerError异常，该异常源于Hive UDF的静态变量初始化问题。分析发现，错误可能由HDFS读取问题、客户端jar包冲突或静态变量初始化异常导致。最终确定为静态变量初始化时，由于缺少第三方SDK的资源文件导致空指针异常，修复后问题解决。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

文章目录

1.背景

在这里插入图片描述
我想运行一个spark structured steaming sql的程序，主要是想测试一个hive函数

2. hive UDF函数

package com.dtwave.udf;


import org.apache.hadoop.hive.ql.exec.UDF
了解本专栏 订阅专栏 解锁全文
【Hive进阶】-- Hive SQL、Spark SQL和 Hive on Spark SQL
欢迎来到我的博客，一起探索代码里的世界！
03-13 3472
Hive由Facebook开发，用于解决海量结构化日志的数据统计，于2008年贡献给 Apache 基金会。Hive是基于Hadoop的数据仓库工具，可以将结构化数据映射为一张表，提供类似SQL语句查询功能本质：将Hive SQL转化成MapReduce程序。Spark SQL主要用于结构型数据处理，它的前身为Shark，在Spark 1.3.0版本后才成长为正式版，可以彻底摆脱之前Shark必须依赖HIVE的局面。
Spark SQL整合Hive
最新发布
m0_71010347的博客
06-19 953
Hive可以将SQL语句转化为MapReduce（或Apache Spark、Apache Tez）任务执行，大大降低了Hadoop的使用门槛，减少了开发MapReduce程序的时间成本。与Hive不同的是，Hive的执行引擎为MapReduce，而Spark SQL的执行引擎为Spark RDD。​ 在IDEA中编写Spark SQL操作Hive的应用程序，然后将编写好的应用程序打包为JAR，提交到Spark集群中运行，即可对Hive进行数据的读写与分析。打包程序，然后提交到Spark集群。
BlockReader类的创建和读操作--创建函数(4)--getRemoteBlockReaderFromTcp()
weixin_39935887的博客
01-13 427
getRemoteBlockReaderFromTcp()函数 代码如下： /** * Get a RemoteBlockReader that communicates over a TCP socket. * * @return The new BlockReader. We will not return null, but instead throw * ...
udf直接抛异常，强制中断映射.
ceasar_kai的博客
11-30 452
[code="java"] if("123".equals(var1)){ try{ }catch(Exception e){ }finally{ throw new RuntimeException("=====Mapping stopped due to NUM field value is 123."); } }else{ return var1; }[/cod...
BlockReader接口实现类的read操作----BlockReaderLocalLegacy类中read(ByteBuffer buf)函数
weixin_39935887的博客
02-16 507
之前我们分析了四个构造BlockReader类对象函数 1、getLegacyBlockReaderLocal(),该函数返回一个BlockReaderLocalLegacy类对象 2、getBlockReaderLocal(),该函数返回一个BlockReaderLocal类对象 3、getRemoteBlockReaderFromDomain(),该函数返回一个RemoteBlockRe...
Spark Structured Streaming框架(2)之数据输入源详解
a567676的博客
09-03 468
　　Spark Structured Streaming目前的2.1.0版本只支持输入源：File、kafka和socket。 1. Socket 　　Socket方式是最简单的数据输入源，如Quick example所示的程序，就是使用的这种方式。用户只需要指定"socket"形式并配置监听的IP和Port即可。 val scoketDF = spark.r...
javasql笔试题-spark-hive-udf:展示如何在ApacheSpark中使用HiveUDF的示例项目
06-17
和 DataFrames 一起使用。 用 Python 编写的原生 Spark UDF 很慢，因为它们必须在 Python 进程中执行，而不是基于 JVM 的 Spark Executor。 要让 Spark Executor 运行 Python UDF，它必须： 将数据从分区发送到与 ...
spark-hive-udf:Spark Hive UDF示例
04-22
Spark Hive UDF示例 建立项目 mvn clean package ...spark.sql("CREATE OR REPLACE FUNCTION uppercase AS 'com.ranga.spark.hive.udf.UpperCaseUDF' USING JAR '/tmp/spark-hive-udf-1.0.0-SNAPSHOT.jar'") sp
Structured Streaming 简介
storm_fury
12-06 636
示例代码 import org.apache.log4j.{Level, Logger} import org.apache.spark.SparkConf import org.apache.spark.sql.streaming.OutputMode import org.apache.spark.sql.{DataFrame, SparkSession} /** * 监听网络端口发...
Compact 调优实例
Samooyou的博客
02-28 495
compaction 实例
Structrued Streaming业务数据实时分析
weixin_30639719的博客
03-23 179
先启动spark-shell,记得启动nc服务 输入以下代码 scala> import org.apache.spark.sql.functions._ import org.apache.spark.sql.functions._ scala> import org.apache.spark.sql.SparkSe...
Spark：StructStreaming
m0_57498038的博客
07-26 1299
目录 01：上篇回顾 02：本篇内容 03：SparkStreaming的缺点 04：StructStreaming的设计 05：官方示例WordCount 06：自定义开发WordCount实现 07：Source数据源类型及File Source 08：常用Query查询器选项 09：Sink数据源：支持类型 10：Sink数据源：Foreach Sink 11：StructStreaming容错机制 12：集成Kafka：消费Kafka数据 13：集成Kafka：生产Kafk
遇到ExceptionInInitializerError
陈某狗
05-21 961
2019.05.21遇到了一个以前没遇到的错误：ExceptionInInitializerError 经过查找资料，发现这是因为类中的静态代码块在加载时出错，导致类不存在，所以JVM在找不到该类时就会报这个错误，这个错误的意思其实是在静态代码块中如果加载出错的会统一跳出这个Error。 ...
spark java.lang.ExceptionInInitializerError 累加器使用
qq_41875667的博客
07-29 1388
记一次spark 累加器使用记录 正确代码： object SparkTest { val sparkConf: SparkConf = new SparkConf() .setMaster("local[3]") .setAppName("Test") val session: SparkSession = SparkSession.builder().config(sparkConf).getOrCreate() val longAccumulator:
flink hive 异常以及解决办法
HiBoyljw的博客
09-27 2892
[ERROR] Could not execute SQL statement. Reason: java.lang.NoClassDefFoundError: Could not initialize class org.apache.flink.table.catalog.hive.factories.HiveCatalogFactoryOptions 原因：缺失依赖 解决办法： 新增hive-exec-3.1.0.jar 依赖 [ERROR] Could not execute SQL state
Spark二次调用Hive UDF异常问题解决办法
dingyufei的博客
02-21 8191
异常如下： No handler for UDF/UDAF/UDTF 'com.******.***': java.lang.ClassNotFoundException: com.***; line 1 pos 7 org.apache.spark.sql.AnalysisException: No handler for UDF/UDAF/UDTF 'com.***': java.lang...
Spark SQL和Hive SQL的区别
03-08
Spark SQL 和 Hive SQL 的区别在于它们的执行引擎不同。Spark SQL 是基于 Spark 引擎的，而 Hive SQL 是基于 Hadoop 的 MapReduce 引擎的。此外，Spark SQL 支持实时数据处理和流处理，而 Hive SQL 更适合批处理。...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值