记录hive on spark缺少包ClassNotFoundException: org.antlr.runtime.tree.CommonTree的异常解决

最新推荐文章于 2024-03-22 10:22:03 发布
最新推荐文章于 2024-03-22 10:22:03 发布
阅读量987 收藏
点赞数 1
CC 4.0 BY-SA版权
分类专栏： hive spark 开窗函数 文章标签： spark hive 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/appleYQL/article/details/130114384
文章描述了一位开发者遇到的代码异常问题，具体是由于缺失ANTLRruntime的CommonTree类导致。在CDH6.2.0环境下，尝试添加ANTLR4的jar路径未解决问题，因为该版本不包含CommonTree类。最终，通过引入ANTLR3的runtime库，成功解决了这个问题，通过在spark-default配置中添加额外的依赖路径。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1、发现问题

公司有个开发的同事跟我反馈，他一段代码里面有个开窗函数累加的代码一直出异常，界面上显示的日志很模糊，看不出什么问题，只能捞application的执行日志了

2、找到问题并解决

让开发的同事重新查询一次并把对应的application的id发我，查看执行日志里面有个确实类的错误：ClassNotFoundException: org.antlr.runtime.tree.CommonTree ，定位到应该就是缺少类了.
在在网上查询这个类是在antlr-runtime包里，在cdh(博主用的版本是cdh6.2.0)的spark的jar路径下发现有个antlr4-runtime-4.7.jar的包，虽然有点奇怪为什么还是会缺这个类，路径应该是在依赖路径了啊，没得办法还是手工在spark-default加多两个额外依赖路径配置

spark.driver.extraClassPath=/opt/cloudera/parcels/CDH/lib/spark/jars/*
spark.executor.extraClassPath=/opt/cloudera/parcels/CDH/lib/spark/jars/*

找了开发重新跑sql，还是一样的错误，后面还是找到原因了，原来在antlr4的包里是不包含CommonTree类的，只有3版本的才有，如图
在这里插入图片描述
最后在spark-default加上额外的依赖解决了

spark.driver.extraClassPath=/opt/cloudera/parcels/CDH/jars/antlr-runtime-3.4.jar
spark.executor.extraClassPath=/opt/cloudera/parcels/CDH/jars/antlr-runtime-3.4.jar
hive编程 | 引用jar包报class not found异常
01-13 1162
场景：jar包上传到服务器，发现服务引用 原因：jar包上传方式有问题，原来我使用send zmodelm 解决方案：使用rz上传jar包
HBase实战（5）：Spark SQL+Hive +HBASE 使用Spark 操作分布式集群HBASE
大模型与Agent智能体
06-14 3072
HBase实战（5）：Spark SQL+Hive +HBASE 使用Spark 操作分布式集群HBASE1，基于spark 2.3.0 直接进入spark sql 客户端，提示出错，找不到“com.mysql.jdbc.Driver”root@master:/usr/local/spark-2.3.0-bin-hadoop2.6/bin# spark-sql SLF4J: Class path ...
hive on spark ，執行HQL時，出現java.lang.NoClassDefFoundError: org/antlr/runtime/tree/CommonTree
m0_37759590的博客
02-17 476
hive on spark ，執行HQL時，出現java.lang.NoClassDefFoundError: org/antlr/runtime/tree/CommonTree
问题解决-hive使用spark引擎执行SQL时，yarn报错：java.lang.NoClassDefFoundError: org/antlr/runtime/tree/CommonTree
software_student的专栏
07-02 3519
项目场景： 在Hive老版本中，Hive在执行HSQL语句时，默认的执行引擎是后台执行MR（MapReduce）任务；随着Spark的兴起，如今Hive版本都是使用spark引擎作为SQL语句的执行引擎，因为spark是基于内存的计算引擎，相比MR计算更加快速，更让大众所青睐。 环境描述： 名称 版本号 CDH 6.2.0 Hive 2.1.0 Spark 2.4.0 问题描述： 创建Hive外表 create table if not exists stu(id int ,
hive报错 return code 3 java.lang.NoClassDefFoundError: org/antlr/runtime/tree/CommonTree
weixin_43859534的博客
03-22 379
例如：项目场景：示例:通过蓝牙芯片(HC-05)与手机 APP 通信，每隔 5s 传输一批传感器数据(不是很大)
Spark配置HOME之后使用hive命令会报 $SPARK_HOME/lib/spark-assembly-*.jar: 没有那个文件或目录
别人笑我太疯癫，我笑他人看不穿。
01-14 1242
报这个错误说明你的hive使用的版本较低，hive命令脚本任然是Spark2.0之前的结构 Spark2.0之后没有lib这一文件了，改成了jars文件，因此我们编辑hive命令脚本找到如下内容 # add Spark assembly jar to the classpath if [[ -n "$SPARK_HOME" ]] then sparkAssemblyPath=`ls ${SPARK_HOME}/lib/spark-assembly-*.jar` CLASSPATH="${CLASSP
[Spark版本更新]--2.3.0发行说明
欢迎来到我的博客，一起探索代码里的世界！
03-03 1万+
自从2017年12月1日发布spark-2.2.1以来，已有3个月时间。2018年2月28日，spark官方发布了一个大版本Spark-2.3.0，解决了1399个大大小小的问题。一、DataBricks做了相关说明今天，我们很高兴地宣布Databricks上的Apache Spark 2.3.0作为其Databricks Runtime 4.0的一部分。我们要感谢Apache Spark社区为S...
ecw2c理解元数据：使用BigQuery k-means将4,000个堆栈溢出标签聚类
热门推荐
cunehu1722的博客
07-24 6万+
您如何将超过4,000个活动的Stack Overflow标签分组为有意义的组？ 对于无监督学习和k均值聚类来说，这是一项完美的任务-现在您可以在BigQuery中完成所有这些工作。 让我们找出方法。 Visualizing a universe of clustered tags. Felipe Hoffais a Developer Advocate fo...
hive启动报错，找不到spark的jar包们
上海菁数信息技术
04-28 3620
类型下面的报错 cannot access /usr/local/spark/lib/spark-assembly-*.jar:  No such file or directory 编辑你的hive启动脚本 vim /usr/local/hive/bin/hive更改116行的内容，我的版本是1.2.2的hive if [[ -n "$SPARK_HOME" ]] then
Hive<找不到Spark-assemblyJar包>
Gpwner的博客
06-19 4009
版本：apache-hive-1.2.1-bin.tar.gz spark-2.1.1-bin-hadoop2.7.tgz1.问题陈述：启动Hive的时候会说找不到spark-assembly相关的Jar包cannot access /usr/local/spark/lib/spark-assembly-*.jar: No such file or directory2.原因：spark2以后，原有
java常见的ClassNotFoundException
yanjunming123的博客
11-17 501
1 - Java.lang.ClassNotFoundException: org.apache.commons.logging.LogFactory    添加包common-logging.jar 2 - java.lang.ClassNotFoundException: javax.transaction.Synchronization      添加包jta.jar(hibera
Hive在spark2.0.0启动时无法访问../lib/spark-assembly-*.jar: 没有那个文件或目录的解决办法
weixin_44519124的博客
04-10 2867
最近将整个架构升级到spark 2.0.0之后，发现一个问题，就是每次进行hive --service metastore启动的时候，总是会报一个小BUG。 无法访问/home/ndscbigdata/soft/spark-2.0.0/lib/spark-assembly-*.jar: 没有那个文件或目录。 其主要的原因是：在hive.sh的文件中，发现了这样的命令，原来初始当spark存在的时...
SSH框架搭建过程中的ClassNofFoundException
iushnauh的专栏
04-20 157
今天给同事搭一个SSH框架，手头没资料，所以去网上下载了最新的jar包，版本为：hibernate-distribution-3.3.1.GA;spring-framework-3.0.0.M2;struts-2.0.11.1。可是搭建过程中出现了以前没有碰到过的ClassNotFoundException，现总结一下：   1）java.lang.ClassNotFoundException...
hive报错-ls: 无法访问/export/servers/spark/lib/spark-assembly-*.jar: 没有那个文件或目录Exception in thread “main“
weixin_63507910的博客
04-03 724
ls: 无法访问/export/servers/spark/lib/spark-assembly-*.jar: 没有那个文件或目录 Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/hive/ql/CommandNeedRetryException at java.lang.Class.forName0(Native Method) at java.lang.Class.forName(Class.j
运行hive脚本报错:java.lang.ClassNotFoundException: Class org.apache.hive.hcatalog.data.JsonSerDe not found
weixin_43466909的博客
03-28 2810
出现error过程描述： 创建一个Hive表并对其添加一个JSON格式匹配 ROW FORMAT SERDE 'org.apache.hive.hcatalog.data.JsonSerDe' 原因是缺少hive-hcatalog-core-3.1.2.jar的包 尝试以下方式 将~/hive-3.1.2/hcatalog/share/hcatalog/hive-hcatalog-core-3.1.2.jar 放到hive的lib目录下 ~为你自己机器的hive安装目录 依然报错
Hive ClassNotFoundException: org.apache.hadoop.hive.contrib.serde2.RegexSerDe
java开发指南博客 【转载】
02-02 341
在Hive的测试中，发现使用正则表达式的字段分隔方式时，总是进行不下去，创建表的语句如下： create table mylog2(time string,clause string) row format serde 'org.apache.hadoop.hive.contrib.serde2.RegexSerDe' with serdeproperties ( "input.regex...
spark连接hive报错：java.lang.NoClassDefFoundError: org/apache/hadoop/hive/conf/HiveConf
qiangzi_lg的博客
06-11 5711
错误信息如下： 20/06/11 11:04:35 INFO HiveUtils: Initializing HiveMetastoreConnection version 3.0 using Exception in thread "main" java.lang.ClassNotFoundException: java.lang.NoClassDefFoundError: org/apache/hadoop/hive/conf/HiveConf when creating Hive client.
java getchild_Java CommonTree.getChild方法代码示例
weixin_33250328的博客
02-25 269
import org.antlr.runtime.tree.CommonTree; //导入方法依赖的package包/类static public PropertyArgument buildFieldReference(String argumentName, CommonTree fieldReferenceNode, QueryModelFactory factory,FunctionEv...
hive配置爆错：java.lang.ClassNotFoundException : com.mysql.jdbc.Driver
最新发布
03-31
### 解决 Hive 配置中 `java.lang.ClassNotFoundException: com.mysql.jdbc.Driver` 的问题 当遇到 `java.lang.ClassNotFoundException: com.mysql.jdbc.Driver` 错误时，通常是因为 MySQL JDBC 驱动程序未被正确加载或配置不当。以下是针对此问题的具体解决方案： #### 1. 确认使用的 MySQL Connector 版本 如果项目中配置的 `driver-class-name` 是 `com.mysql.jdbc.Driver`，那么所使用的 MySQL 连接器版本应为 **5.x**[^3]。对于较新的连接器版本（8.x），类名已更改为 `com.mysql.cj.jdbc.Driver`。 因此，在确认驱动名称之前，请先检查当前项目的依赖项以及所需的 MySQL Connector-Jar 文件版本。 #### 2. 将正确的 JAR 文件放置到 Hive 类路径下 为了使 Hive 能够正常访问 MySQL 数据库作为其元存储，需将相应的 MySQL 驱动程序 JAR 文件复制至 Hive 的 lib 目录中。具体操作如下： - 下载适用于您环境的 MySQL Connector/J (推荐使用与 Hive 和 MySQL 兼容的版本)[^4]。 - 假设下载后的文件名为 `mysql-connector-java-5.1.xx-bin.jar`，将其拷贝到 Hive 安装目录下的 `lib` 子目录中。例如： ```bash cp mysql-connector-java-5.1.xx-bin.jar /path/to/hive/lib/ ``` #### 3. 修改 Hive Site Configuration (`hive-site.xml`) 确保在 Hive 的配置文件 `hive-site.xml` 中设置了正确的 JDBC URL 及 Driver 名称。以下是一个典型的配置示例： ```xml <property> <name>javax.jdo.option.ConnectionDriverName</name> <value>com.mysql.jdbc.Driver</value> </property> <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://localhost:3306/metastore?createDatabaseIfNotExist=true&useSSL=false</value> </property> ``` 注意：上述 `<value>` 字段中的参数可能依据实际需求有所调整，比如主机地址、端口号或者 SSL 设置等。 #### 4. 检查 Spark 或其他框架集成情况 如果您正在通过 PySpark 访问 Hive 并遇到了类似的错误消息，则还需要验证是否已经把 MySQL 驱动加入到了 Spark 的 jars 路径之中[^5]。可以按照下面的方式处理： - 如果采用默认方式启动 Spark Shell 或提交作业，则只需简单地将所需 jar 放入 `$SPARK_HOME/jars/` 即可； - 对于自定义部署场景，可通过命令行选项指定额外资源位置，如： ```bash spark-submit --jars /path/to/mysql-connector-java-5.1.xx-bin.jar your_application.py ``` 完成以上步骤之后重启服务并重新尝试执行相关查询动作来检验修复效果如何。 ```python from pyspark.sql import SparkSession spark = SparkSession.builder \ .appName("Test") \ .enableHiveSupport() \ .getOrCreate() df = spark.sql("SHOW DATABASES;") df.show() ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值