Error:scalac: missing or invalid dependency detected while loading class file ‘ScalaCaseClassSeriali

最新推荐文章于 2020-12-21 11:20:08 发布
最新推荐文章于 2020-12-21 11:20:08 发布
阅读量2k 收藏 1
点赞数 1
CC 4.0 BY-SA版权
分类专栏： Flink 文章标签： flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/xiaopeigen/article/details/107251179

一、问题描述

用IDEA编写flink的scala程序，编译没有错误但是运行出错，日志如下：

Error:scalac: missing or invalid dependency detected while loading class file 'ScalaCaseClassSerializer.class'. Could not access type SelfResolvingTypeSerializer in object org.apache.flink.api.common.typeutils.TypeSerializerConfigSnapshot, because it (or its dependencies) are missing. Check your build definition for missing or conflicting dependencies.

 

二、问题原因

我找了半天也不知道ScalaCaseClassSerializer.class是在哪个包，但是有个提示org.apache.flink.api.common.typeutils

它对应本地仓库的jar包有问题

E:\ProgramFiles\maven_lib\org\apache\flink\flink-core\1.9.0\flink-core-1.9.0.jar

三、解决办法

1、

2、

参考链接：

https://blog.youkuaiyun.com/u010886217/article/details/90515060?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-3.nonecase&depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-3.nonecase

Error:scalac: missing or invalid dependency detected while loading class file ‘RDDOperationScope.cla
九师兄
07-02 2381
Error:scalac: missing or invalid dependency detected while loading class file 'RDDOperationScope.class'. Could not access term annotation in package com.fasterxml.jackson, because it (or its dependenc...
Eclipse + scala 报错 missing or invalid dependency detected while loading class file 'XXX.class'...
beijihukk的博客
03-18 5657
近两天学习spark，根据官网文档http://spark.apache.org/docs/2.1.0/quick-start.html 做Self-contains App的实验时需要加载spark-core_2.11-2.1.0.jar, 因为maven的插件m2eclipse-scala（见scala ide官网http://scala-ide.org/docs/current-user-d
报错 Error:scalac: missing or invalid dependency detected while loading class file ***
BornZhu的博客
12-06 6128
在开发spark应用程序时报错如图所示， 这个错误困扰我整整两天，但大致知道是dependency的问题。 首先我reimport了pom.xml，仍然报错，将dependency删除后添加再reimport，也是报错，这一步基本排除了pom.xml的问题。 之后，我怀疑是下载到本地的包损坏，我去本地的maven仓库中查看，删除了maven仓库中的所有文件，让maven重新下载，仍然报错
Error:scalac: missing or invalid dependency detected while loading class file ‘Tensor.class’.
01-07
使用idea maven配置spark项目时遇到下面错误 Error:scalac: missing or invalid dependency detected while loading class file 'Tensor.class'. Could not access term mllib in package org.apache.spark, because it (or its dependencies) are missing. Check your build definition for missing or conflicting dependencies. (Re-
Spark ml报错：Error:scalac: missing or invalid dependency detected while loading class file ‘SQLImplici
小蚯蚓的博客
05-24 3167
一、问题描述 采用spark2.3.0的 ml库进行推荐算法建模，但是，运行代码到如下推荐个数的时候 ... model.recommendForAllUsers(7).show(false) ... 报错如下图： 具体报错如下： ​ Information:Module "sparktest" was fully rebuilt due to project configura...
【scala报错】报错Error:scalac: missing or invalid dependency detected while loading class file '**.class'
Jacquelin_1的博客
06-03 5789
在idea里写好scala，spark-sql的脚本，运行时报这个错 是说maven配依赖时下载那个Dataset.class文件时出错，spark-sql在1.6版本及之后就是Dataset，那就是关键的函数包没下载好了，好了直接说解决方法： 一、删之前配好的 idea滑到最下-》 External Libraries-》 找到maven帮你配好的文件，就是spark-sql2.11-》 co...
报错Error:scalac: missing or invalid dependency detected while loading class file ‘StreamingContext.cl
weixin_45777019的博客
12-21 1112
报错信息 Error:scalac: missing or invalid dependency detected while loading class file 'StreamingContext.class'. Could not access term hadoop in package org.apache, because it (or its dependencies) are missing. Check your build definition for missing or confli
AKKA: missing or invalid dependency detected while loading class file 'ActorSystem.class'
a071800的专栏
12-27 3271
问题描述： 1.按AKKA教程搭建计算PI值得项目ttp://www.gtan.com/akka_doc/intro/getting-started-first-scala.html 2.用IntelliJ创建了空的scala项目（没用到SBT），配置好java、scala环境，把从官网下载的akka-actor_2.11-2.3.8.jar导入到项目中添加到依赖项 3.运行项目的时候编译出
Error:scalac: missing or invalid dependency detected while loading class file 'RDD.class'.问题
weixin_37595559的博客
10-24 1440
使用intelig 运行spark程序出现 Error:scalac: missing or invalid dependency detected while loading class file 'RDD.class'. Could not access term hadoop in package org.apache, because it (or its dependencies) a
Spark编译报错：missing or invalid depency detected while loading class file RDDOperationScope.class
九师兄
11-21 849
missing or invalid depency detected while loading class file
Error:scalac: missing or invalid dependency detected while loading class file 'RDD.class'. Could not
前方的路在刚开始
08-25 815
RDD算子需要，hadoopClient依赖的支持 我之前也不知道，但是实际上是需要的。 添加依赖
Error:scalac: missing or invalid dependency detected while loading class file 'ActorSystem.class'.
DataFlow范式
01-16 4711
Akka环境： 集成开发环境: IntelliJ IDEA 14.1.5 Scala版本：   scala-sdk-2.11.7 Akka版本: akka-actor_2.11-2.3.14 JDK版本: jdk1.7.0_79 问题： 运行Akka程序时，报错如下： Error:scalac: missing or invalid dependency detected w
2020-10-28
weixin_42677245的博客
10-28 498
idea打包时报错： Error:scalac: missing or invalid dependency detected while loading class file ‘Logging.class’. Could not access type LazyLogging in value com.typesafe.slf4j, because it (or its dependencies) are missing. Check your build definition for missing o
scala学习笔记07--样本类（case class）和模式匹配
laiwenqiang的专栏
12-12 5028
样本类：添加了case的类便是样本类。这种修饰符可以让Scala编译器自动为这个类添加一些语法上的便捷设定。如下：     1.添加与类名一致的工厂方法。也就是说，可以写成Var("x")来构造Var对象。     2.样本类参数列表中的所有参数隐式获得了val前缀，因此它被当作字段维护。     3.编译器为这个类添加了方法toString,hashCode和equals等方法。 模
Error:scalac: error while loading JUnit4, Scala signature JUnit4 has wrong version
weixin_34356555的博客
11-23 360
Error:scalac: error while loading JUnit4, Scala signature JUnit4 has wrong version expected: 5.0 found: 4.1 in JUnit4.class 今天在idea上，利用scala的随机函数，写了一个测试程序，往kafka的服务器不间断写数据，程序写完后，...
写基于akka代码出现报错missing or invalid dependency detecte
chuhui1765的博客
09-02 267
具体的报错信息如下内容： Error:scalac: missing or invalid dependency detected while loading class file 'ActorSystem.class'. Could not access term typesaf...
Flink类型导致的异常：java.lang.NullPointerException
xiaozhaoshigedasb的博客
05-23 5304
代码提交到yarn上后，一直报这个错，但是数据好像没丢，或者丢的少， 没看出来。。 一开始分析的是业务逻辑中匹配的时候，会有一些类型的问题，但是全部排查了一遍，貌似没有，更何况下边这个异常里面并没有指出代码中的哪一行类型异常。。所以就怀疑是不是kafka中的数据进来的时候就有空字段。。 今天无意中翻了一眼官网，他说： Scala Case Class（包括Scala元组）：最多22个字段，不支持空...
cla74182
最新发布
04-02
### 关于CLA74182的相关解释 #### CLA 的定义与作用 CLA 是 Contributor License Agreement（贡献者许可协议）的缩写，它是一种法律文件，在开发者向开源项目提交代码或其他形式的贡献时起到约束作用[^1]。通过签署 CLA，贡献者同意将其知识产权授权给项目的维护方或基金会，并确认其拥有足够的权利来提供这些贡献。 CLA 主要分为两种类型：个体 CLA 和公司 CLA。对于个人开发者来说，更多情况下会选择签署个体 CLA 来成为某个开源社区或基金会的一员[^2]。 #### Spark 报错中的 `RDDOperationScope.class` 问题 在某些场景下，开发人员可能会遇到类似于以下错误提示的信息： > scalac: missing or invalid dependency detected while loading class file 'RDDOperationScope.class'. 这种错误通常发生在编译 Scala 或运行 Apache Spark 应用程序的过程中。具体原因可能涉及 Jackson 库版本不兼容的问题[^3]。以下是可能导致此问题的原因分析以及解决方法： - **依赖冲突**：如果项目中存在多个不同版本的 Jackson 库，则可能会导致类加载失败。建议检查构建工具（如 Maven 或 SBT）配置文件中的依赖项是否存在重复或冲突的情况。 - **缺失依赖**：确保所有必要的库均已正确引入到项目中。可以通过重新下载所需依赖或将它们显式添加至 `pom.xml` 文件或 `build.sbt` 中解决问题。 - **清理并重建工程**：有时缓存数据也可能引发此类异常现象。尝试执行如下命令清除旧版目标文件后再进行全量构建操作： ```bash mvn clean install ``` 尽管上述内容并未直接提及 “CLA74182”，但从上下文中推测这可能是某种特定编号下的技术文档、案例研究或者是某份详细的 CLA 合同条款名称之一。然而由于缺乏进一步的具体描述信息，目前尚无法确切判断该字符串的确切含义及其关联领域范围。 --- ### 提供一段假设性的 Python 脚本用于检测依赖关系 下面展示了一段简单的脚本来帮助识别潜在的 Java/Scala 类路径上的问题所在位置: ```python import os from subprocess import Popen, PIPE def check_classpath(): process = Popen(['java', '-XshowSettings:properties'], stdout=PIPE, stderr=PIPE) output, error = process.communicate() if b'class path' in output.lower() and not error: print("Class Path Settings:") lines = str(output).split("\\n") for line in lines: if "class" in line.lower(): print(line.strip()) check_classpath() ``` 以上代码片段可以用来打印当前 JVM 运行环境所使用的类别加载器设置情况以便排查是否有任何可疑条目影响正常运作流程。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值