uestWrapper.getSession(HttpServletRequestWrapper.java:241) ~[tomcat-embed-core-9.0.13.jar:9.0.13]

本文详细解析了一个关于拦截器配置的常见错误,特别是在排除路径模式时遗漏了关键的‘/’字符,导致程序运行异常。通过正确的代码示例,文章展示了如何避免此类错误,确保拦截器能够正确地处理请求。
uestWrapper.getSession(HttpServletRequestWrapper.java:241) ~[tomcat-embed-core-9.0.13.jar:9.0.13]
	at org.apache.catalina.core.ApplicationHttpRequest.getSession(ApplicationHttpRequest.java:564) ~[tomcat-embed-core-9.0.13.jar:9.0.13]
	at javax.servlet.http.HttpServletRequestWrapper.getSession(HttpServletRequestWrapper.java:241) ~[tomcat-embed-core-9.0.13.jar:9.0.13]
	at org.apache.catalina.core.ApplicationHttpRequest.getSession(ApplicationHttpRequest.java:564) ~[tomcat-embed-core-9.0.13.jar:9.0.13]
	at javax.servlet.http.HttpServletRequestWrapper.getSession(HttpServletRequestWrapper.java:241) ~[tomcat-embed-core-9.0.13.jar:9.0.13]
	at org.apache.catalina.core.ApplicationHttpRequest.getSession(ApplicationHttpRequest.java:564) ~[tomcat-embed-core-9.0.13.jar:9.0.13]
	at javax.servlet.http.HttpServletRequestWrapper.getSession(HttpServletRequestWrapper.java:241) ~[tomcat-embed-core-9.0.13.jar:9.0.13]
	at org.apache.catalina.core.ApplicationHttpRequest.getSession(ApplicationHttpRequest.java:564) ~[tomcat-embed-core-9.0.13.jar:9.0.13]


很长很长很牛逼的错误

原因:
在写拦截器时: 少了“/” 如下
.excludePathPatterns("/",“index.html”,"/user/login");

 @Override
public void addInterceptors(InterceptorRegistry registry) {
    registry.addInterceptor(new LoginHandlerInterceptor()).addPathPatterns("/**")
            .excludePathPatterns("/","/index.html","/user/login");
 }
Caused by: java.lang.ClassNotFoundException: org.apache.spark.SparkConf at java.net.URLClassLoader.findClass(URLClassLoader.java:382) ~[?:1.8.0_191] at java.lang.ClassLoader.loadClass(ClassLoader.java:424) ~[?:1.8.0_191] at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:349) ~[?:1.8.0_191] at java.lang.ClassLoader.loadClass(ClassLoader.java:357) ~[?:1.8.0_191] at org.apache.hadoop.hive.ql.exec.spark.HiveSparkClientFactory.generateSparkConf(HiveSparkClientFactory.java:263) ~[hive-exec-3.1.2.jar:3.1.2] at org.apache.hadoop.hive.ql.exec.spark.RemoteHiveSparkClient.<init>(RemoteHiveSparkClient.java:98) ~[hive-exec-3.1.2.jar:3.1.2] at org.apache.hadoop.hive.ql.exec.spark.HiveSparkClientFactory.createHiveSparkClient(HiveSparkClientFactory.java:76) ~[hive-exec-3.1.2.jar:3.1.2] at org.apache.hadoop.hive.ql.exec.spark.session.SparkSessionImpl.open(SparkSessionImpl.java:87) ~[hive-exec-3.1.2.jar:3.1.2] at org.apache.hadoop.hive.ql.exec.spark.session.SparkSessionManagerImpl.getSession(SparkSessionManagerImpl.java:115) ~[hive-exec-3.1.2.jar:3.1.2] at org.apache.hadoop.hive.ql.exec.spark.SparkUtilities.getSparkSession(SparkUtilities.java:136) ~[hive-exec-3.1.2.jar:3.1.2] at org.apache.hadoop.hive.ql.exec.spark.SparkTask.execute(SparkTask.java:115) ~[hive-exec-3.1.2.jar:3.1.2] at org.apache.hadoop.hive.ql.exec.Task.executeTask(Task.java:205) ~[hive-exec-3.1.2.jar:3.1.2] at org.apache.hadoop.hive.ql.exec.TaskRunner.runSequential(TaskRunner.java:97) ~[hive-exec-3.1.2.jar:3.1.2] at org.apache.hadoop.hive.ql.Driver.launchTask(Driver.java:2664) ~[hive-exec-3.1.2.jar:3.1.2] at org.apache.hadoop.hive.ql.Driver.execute(Driver.java:2335) ~[hive-exec-3.1.2.jar:3.1.2] at org.apache.hadoop.hive.ql.Driver.runInternal(Driver.java:2011) ~[hive-exec-3.1.2.jar:3.1.2] at org.apache.hadoop.hive.ql.Driver.run(Driver.java:1709) ~[hive-exec-3.1.2.jar:3.1.2] at org.apache.hadoop.hive.ql.Driver.run(Driver.java:1703) ~[hive-exec-3.1.2.jar:3.1.2] at org.apache.hadoop.hive.ql.reexec.ReExecDriver.run(ReExecDriver.java:157) ~[hive-exec-3.1.2.jar:3.1.2] at org.apache.hive.service.cli.operation.SQLOperation.runQuery(SQLOperation.java:224) ~[hive-service-3.1.2.jar:3.1.2]
最新发布
07-27
<think>我们面对的错误是:`java.lang.ClassNotFoundException: org.apache.spark.SparkConf` 这个错误表明在运行Hive on Spark时,JVM无法在类路径中找到SparkConf类。这通常是因为Spark的相关库没有被正确加载到类路径中。 可能的原因和解决方案如下: 1. **Spark库未添加到Hive的类路径**: - 在Hive的配置中,需要确保Spark的相关JAR文件被添加到Hive的类路径中。可以通过设置`HIVE_AUX_JARS_PATH`环境变量或者修改`hive-site.xml`配置文件来添加。 - 例如,在`hive-site.xml`中添加: ```xml <property> <name>hive.aux.jars.path</name> <value>/path/to/spark/jars/*</value> </property> ``` 或者通过环境变量设置(在启动Hive之前): ```bash export HIVE_AUX_JARS_PATH=/path/to/spark/jars/* ``` 2. **Spark安装目录未正确设置**: - 确保`SPARK_HOME`环境变量设置正确,并且指向Spark的安装目录。Hive会使用`SPARK_HOME`来寻找Spark的库。 - 检查方法:`echo $SPARK_HOME` 3. **版本不兼容**: - Hive的版本和Spark的版本需要兼容。例如,Hive 3.1.2通常要求Spark 2.4.x版本。如果使用了不兼容的Spark版本(如Spark 3.x),则可能因为包结构变化(例如Spark 3.x中包名有变化)而导致类找不到。 - 解决方案:使用Hive官方文档中推荐的Spark版本。 4. **Spark JAR文件权限问题**: - 确保运行Hive的用户有权限读取Spark的JAR文件。 5. **多个Spark版本冲突**: - 如果系统中存在多个Spark版本,可能会发生冲突。确保Hive配置指向正确的Spark版本。 6. **Hive执行引擎配置**: - 确保Hive的执行引擎设置为Spark: ```sql SET hive.execution.engine=spark; ``` 或者永久配置在`hive-site.xml`中。 7. **检查Spark依赖库的路径**: - 确认`/path/to/spark/jars/`目录下确实包含`spark-core_2.11`(或相应版本)的JAR文件,其中应该有`org.apache.spark.SparkConf`类。 8. **使用Hive的`add jar`命令**: - 在Hive CLI中,可以尝试手动添加Spark的JAR文件: ```sql ADD JAR /path/to/spark/jars/spark-core_2.11-2.4.8.jar; ``` 注意:需要替换为实际路径和版本。 9. **检查Hive的日志**: - 查看详细的Hive日志,通常在`/tmp/<username>/hive.log`,以获取更多线索。 10. **使用Hive的Spark客户端模式**: - 在Hive 3.x中,支持两种Spark客户端:本地和远程。确保配置正确。例如,在`hive-site.xml`中设置: ```xml <property> <name>spark.master</name> <value>yarn</value> </property> ``` 根据以上分析,用户需要检查Spark库的路径配置、环境变量以及版本兼容性。 §§相关问题§§ 1. 如何正确配置Hive on Spark的执行环境? 2. Hive与Spark版本不兼容会导致哪些具体问题? 3. 在Hive中,如何手动添加JAR文件到当前会话? 4. 如何检查Hive的类路径中是否包含Spark的相关JAR? 5. 当遇到ClassNotFoundException时,有哪些通用的排查步骤?</think>### 错误分析:`java.lang.ClassNotFoundException: org.apache.spark.SparkConf` 这个错误表明 JVM 在运行时无法加载 Spark 的核心类 `SparkConf`,通常发生在 Hive 集成 Spark(Hive on Spark)的场景中。核心原因是 **Spark 库未正确加载到类路径**,具体原因和解决方案如下: --- ### 根本原因及解决方案: 1. **Spark JAR 文件缺失** - **问题**:Hive 依赖的 Spark 库(如 `spark-core_2.xx.jar`)未放入类路径 - **修复**: ```bash # 将 Spark jars 目录添加到 Hive 类路径 export HIVE_AUX_JARS_PATH=$SPARK_HOME/jars/* # 或在 hive-site.xml 中配置 <property> <name>hive.aux.jars.path</name> <value>/opt/module/spark/jars/*</value> </property> ``` 2. **SPARK_HOME 环境变量未设置** - **问题**:Hive 通过 `SPARK_HOME` 定位 Spark 库,未设置则无法加载 - **修复**: ```bash # 永久生效(写入 ~/.bashrc 或 /etc/profile) export SPARK_HOME=/opt/module/spark export PATH=$SPARK_HOME/bin:$PATH ``` 3. **版本不兼容** - **问题**:Hive 3.1.2 需搭配 Spark 2.4.x(非 Spark 3.x) - **验证**:检查兼容性矩阵 ```bash # 查看 Spark 版本 $SPARK_HOME/bin/spark-submit --version ``` - **方案**:降级 Spark 至 2.4.8 或升级 Hive 4. **类路径冲突** - **问题**:多个 Spark 版本 JAR 在类路径中冲突 - **排查**:检查 Hadoop 和 Hive 的 lib 目录 ```bash ls $HADOOP_HOME/share/hadoop/common/lib/*spark* ls $HIVE_HOME/lib/*spark* ``` - **解决**:移除冲突的旧版本 JAR --- ### 诊断步骤: 1. **验证类路径**: ```bash # 在 Hive 启动脚本中打印类路径 echo "CLASSPATH: $CLASSPATH" >> /tmp/hive_classpath.log ``` 2. **检查 SparkConf 是否存在**: ```bash unzip -l $SPARK_HOME/jars/spark-core_*.jar | grep SparkConf.class # 应输出:org/apache/spark/SparkConf.class ``` 3. **强制加载测试**: ```bash # 通过 Hive CLI 测试加载 hive -e "ADD JAR $SPARK_HOME/jars/spark-core_2.11-2.4.8.jar;" ``` --- ### 完整修复流程: ```bash # 1. 设置环境变量 echo "export SPARK_HOME=/opt/module/spark" >> /etc/profile source /etc/profile # 2. 修改 hive-site.xml cat <<EOF >> $HIVE_HOME/conf/hive-site.xml <property> <name>hive.aux.jars.path</name> <value>${SPARK_HOME}/jars/*</value> </property> EOF # 3. 重启 Hive 服务 hive --service metastore stop hive --service metastore start ``` > **注意**:若使用 CDH/HDP 等发行版,需通过管理界面同步配置。
评论 5
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值