Sqoop运行报错NoClassDefFoundError: org/apache/hadoop/mapreduce/InputFormat

最新推荐文章于 2023-09-12 10:29:02 发布
原创 最新推荐文章于 2023-09-12 10:29:02 发布 · 2.5k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hadoop #sqoop

本文介绍了Sqoop在运行过程中出现NoClassDefFoundError错误的原因及解决办法，主要涉及hadoop-common-2.8.5.jar文件的位置确认及环境变量配置。

Sqoop安装好之后运行报错
NoClassDefFoundError: org/apache/hadoop/mapreduce/InputFormat
如下：

21/01/27 08:25:49 INFO orm.CompilationManager: Writing jar file: /tmp/sqoop-root/compile/002e434d1bd3a0780e4d1748ed2511bd/QueryResult.jar
Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/mapreduce/InputFormat
	at java.lang.ClassLoader.defineClass1(Native Method)
	at java.lang.ClassLoader.defineClass(ClassLoader.java:763)
	at java.security.SecureClassLoader.defineClass(SecureClassLoader.java:142)
	at java.net.URLClassLoader.defineClass(URLClassLoader.java:467)
	at java.net.URLClassLoader.access$100(URLClassLoader.java:73)
	at java.net.URLClassLoader$1.run(URLClassLoader.java:368)
	at java.net.URLClassLoader$1.run(URLClassLoader.java:362)
	at java.security.AccessController.doPrivileged(Native Method)
	at java.net.URLClassLoader.findClass(URLClassLoader.java:361)
	at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
	at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:349)
	at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
	at java.lang.ClassLoader.defineClass1(Native Method)
	at java.lang.ClassLoader.defineClass(ClassLoader.java:763)
	at java.security.SecureClassLoader.defineClass(SecureClassLoader.java:142)
	at java.net.URLClassLoader.defineClass(URLClassLoader.java:467)
	at java.net.URLClassLoader.access$100(URLClassLoader.java:73)
	at java.net.URLClassLoader$1.run(URLClassLoader.java:368)
	at java.net.URLClassLoader$1.run(URLClassLoader.java:362)
	at java.security.AccessController.doPrivileged(Native Method)
	at java.net.URLClassLoader.findClass(URLClassLoader.java:361)
	at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
	at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:349)
	at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
	at java.lang.ClassLoader.defineClass1(Native Method)

解决方法：
1.查看hadoop-common-2.8.5.jar是否已经拷贝到sqoop的lib目录下；
2.查看配置文件
export HADOOP_COMMON_HOME=/usr/software/hadoop
export HADOOP_MAPRED_HOME=/usr/software/hadoop
export HIVE_HOME=/usr/software/hive
配置的是否正确

sqoop1.99.7 启动报错-NoClassDefFoundError
xinyuan的专栏
08-13 762
hadoop 2.6.5+ sqoop 1.99.7 启动报错 Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/conf/Configuration at org.apache.sqoop.security.authentication.SimpleAuthenticatio...
sqoop出现java.lang.ClassNotFoundException: Class Job_fill not found解决办法
qq_46183404的博客
10-02 1474
sqoop出现java.lang.ClassNotFoundException: Class Job_fill not found解决办法
hbase-MR任务-将hdfs导入hbase-NoClassDefFoundError
qq_42639540的博客
04-25 335
报错 Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/mapreduce/TableReducer 找不到指：定jar 原因：执行hadoop的任务，但是需要用到hbase的包，而Hadoop中没有hbase的包 解决1：将hbase用到的包导入到每台节点的hadoop...
[Flink错误总结]java.lang.NoClassDefFoundError: org/apache/hadoop/mapreduce/InputFormat
LangLang1111111的博客
11-27 3788
错误: java.lang.NoClassDefFoundError: org/apache/hadoop/mapreduce/InputFormat 错误分析: NoClassDefFoundError 这种类型的错误一般就只有以下两种原因: 1.这个jar包确实没有。导入。 2.依赖包有冲突。导致无法加载。这个冲突的包，有可能是这个找不到类所属的jar包。 也有可能是函数调用时，其他类的所属jar包冲突了。 此处我已经把phoenix的依赖导入了,所以这应该是phoenix的依赖和hado
Sqoop 启动任务时报错 java.lang.ClassNotFoundException: Class [表名] not found
weixin_42067918的博客
10-17 2060
class未找到是因为map是本地方式运行，生成的jar包在/tmp/sqoop-[username]目录下有两种解决方式 方式一 修改mapred运行方式，修改为伪分布方式 # 1.etc/hadoop/mapred-site.xml: <configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</valu
java.lang.NoClassDefFoundError: org/apache/hadoop/hive/shims/ShimLoader
qq_56870570的博客
08-20 1956
遇到的问题： 21/08/20 16:29:40 INFO hive.HiveImport: Loading uploaded data into Hive Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/hive/shims/ShimLoader at org.apache.hadoop.hive.conf.HiveConf$ConfVars.<clinit>(HiveConf....
Exception in thread “main“ java.lang.NoClassDefFoundError: org/apache/hadoop/hive/shims/ShimLoader
zp17834994071的博客
09-03 1793
解决sqoop导数据到hive中报错的问题： Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/hive/shims/ShimLoader at org.apache.hadoop.hive.conf.HiveConf$ConfVars.<clinit>(HiveConf.java:370) at org.apache.hadoop.hive.conf.HiveConf.<cl
Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/hive/shims/ShimLoader
W
12-09 1311
用sqoop从MySQL把数据导到hive，报错： 19/12/09 02:06:19 INFO manager.SqlManager: Executing SQL statement: SELECT t.* FROM `student` AS t LIMIT 1 19/12/09 02:06:19 INFO hive.HiveImport: Loading uploaded data into ...
sqoop报错Output directory hdfs://mihaoyu151:9000/user/root/student already exists
qq_51903852的博客
11-23 1327
错误日志 ERROR tool.ImportTool: Encountered IOException running import job: org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory hdfs://mihaoyu151:9000/user/root/student already exists [root@mihaoyu151 ~]# sqoop import \ > --connect jdbc:my
Sqoop export 时报错Exception in thread "main" java.lang.NoClassDefFoundError: org/json/JSONObject
muyingmiao的专栏
09-24 650
在用Sqoop从Hive向MySQL导入数据时，报如下错误 Note: /tmp/sqoop-hadoop/compile/a5cdff17210df0d301e93ae1041273e9/platform_stat.java uses or overrides a deprecated API. Note: Recompile with -Xlint:deprecation for deta...
Oozie 调用sqoop导数据出现NoClassDefFoundError问题
杨军的博客
03-11 2774
异常 Exception in thread "main" java.lang.NoClassDefFoundError: Could not initialize class org.apache.log4j.LogManager at org.apache.log4j.Logger.getLogger(Logger.java:105) at org.apache.sqoop.ut
用sqoop将数据从mysql导入hive报错：org.apache.hadoop.mapred.FileAlreadyExistsException: Output
weixin_49180684的博客
08-03 2023
报错信息 利用sqoop将数据从myslq导入hive时候，可能会报如下错误 解决办法 上诉错误是因为在 sqoop的 lib 目录下，缺少一个 hive的 lib 的目录下的一个 jar 包 需要将hive-common-2.3.3.jar 包，复制到sqoop的lib目录下 cp /opt/software/hive/hive/lib/hive-common-3.1.2.jar /opt/software/sqoop/sqoop/lib/ ...
[Hadoop源码解读]（一）MapReduce篇之InputFormat
云计算?
08-23 381
平时我们写MapReduce程序的时候，在设置输入格式的时候，总会调用形如job.setInputFormatClass(KeyValueTextInputFormat.class);来保证输入文件按照我们想要的格式被读取。所有的输入格式都继承于InputFormat，这是一个抽象类，其子类有专门用于读取普通文件的FileInputFormat，用来读取数据库的DBInputFormat...
笔记-hadoop-MapReduce-InputFormat
liu_1221的博客
07-29 992
——尚硅谷视频笔记 InputFormat数据输入 切片与MapTask并行度决定机制 MapTask并行度决定机制 数据块：Block是HDFS物理上把数据分成一块一块。 数据切片：数据切片只是在逻辑上对输入进行分片，并不会在磁盘上将其切分成片进行存储。 FileInputFormat切片机制 （1）源码中计算切片大小的公式 Math.max(minSize, Ma...
Sqoop -error1- ClassNotFoundException: org.apache.hadoop.hive.conf.HiveConf
99滴神
05-13 960
说明：在使用sqoop工具从mysql将数据导入hive中出现以下错误： 21/05/13 17:39:19 ERROR hive.HiveConfig: Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure HIVE_CONF_DIR is set correctly. 21/05/13 17:39:19 ERROR tool.ImportTool: Import failed: java.io.IOException: ja.
【Hadoop---12】MapReduce：InputFormat『TextInputFormat | CombineFileInputFormat』
渐渐的忘记，赶不上明天（读研ing，2024年毕业）
10-18 587
1. InputFormat与其子类关系图 2. TextInputFormat(默认) 2.1 切片机制 2.2 读取机制 2.3 如何设置？ 3. CombineFileInputFormat 3.1 切片机制 3.2 读取机制 3.3 如何设置？
安装sqoop-1.4.3-cdh4.5.0遇到找不到Sqoop类的异常
自有贵人相助
03-21 1247
异常: Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/sqoop/Sqoop Caused by: java.lang.ClassNotFoundException: org.apache.sqoop.Sqoop         at java.net.URLClassLoader$1.run(UR
hadoop之MapReduce---InputFormat数据输入
@小刘同学nice
04-13 558
切片与MapTask并行度决定机制 问题引出 MapTask的并行度决定Map阶段的任务处理并发度，进而影响到整个Job的处理速度。 思考：1G的数据，启动8个MapTask，可以提高集群的并发处理能力。那么1K的数据，也启动8个MapTask，会提高集群性能吗？MapTask并行任务是否越多越好呢？哪些因素影响了MapTask并行度？ MapTask并行度决定机制 数据块：Block是HDF...
sqoop 从mysql导入hdfs报 java.lang.ClassNotFoundException: Class device_action_record not found
09-12 532
出现java.lang.Exception: java.lang.RuntimeException: java.lang.ClassNotFoundException: Class device_action_record not found找不到表名（device_action_record）类的错误提示。sqoop默认在/tmp/sqoop-当前用户目录下生成根据表名编译好的java文件，报错的原因是找不到编译文件。中间的小插曲：我的环境估计是java环境没配置好，执行报以下错误。
java.lang.NoClassDefFoundError: org/apache/commons/lang/text/StrLookup 分析报错原因
最新发布
08-13
<think>嗯，用户遇到了Java中的NoClassDefFoundError错误，具体是缺少org/apache/commons/lang/text/StrLookup类。这属于典型的类加载失败问题，需要系统分析。 用户提供的引用资料很有价值，特别是引用[5]直接提到sqoop报错时通过复制commons-lang包解决的案例。不过StrLookup属于commons-lang.text子包，需要更精确的定位。 首先考虑版本兼容性问题。StrLookup在commons-lang 2.x版本中存在，但3.x版本进行了包结构调整。观察到错误信息中的包路径是"org/apache/commons/lang/text"，而3.x版本改为"org/apache/commons/lang3/text"，这说明用户使用的库版本可能是2.x。 依赖冲突的可能性也不能排除。比如Maven项目中可能存在多个版本的commons-lang，导致类加载器选择了错误版本。需要检查依赖树，使用mvn dependency:tree命令查看是否有版本冲突。 运行时类路径缺失是最直接的原因。用户可能忘记将commons-lang的JAR文件放入lib目录，或者构建工具没有正确打包。参考引用[2][5]的解决方案，应该检查物理文件是否存在。 解决方案将分层次给出：先确保基础依赖存在，再处理复杂情况。优先推荐Maven/Gradle的依赖管理方式，同时保留手动添加JAR的方案。对于版本升级，需要提醒用户注意API变更风险。 相关问题设计覆盖了依赖管理工具对比、冲突解决技巧和日志分析，这些都是排查NoClassDefFoundError的延伸知识。特别是"依赖仲裁"这个概念，对使用Maven的用户很重要。</think>### Java.lang.NoClassDefFoundError: org/apache/commons/lang/text/StrLookup 分析与解决 #### 错误原因分析 1. **缺失依赖库**（核心原因） 项目缺少 Apache Commons Lang 库（特别是 `commons-lang-2.x.jar`），或使用了不兼容的版本（如 Commons Lang 3.x）。错误中的 `org/apache/commons/lang/text/` 路径表明需要 **2.x 版本**（3.x 的包路径为 `org/apache/commons/lang3/text/`）[^5]。 2. **依赖冲突** 若项目使用 Maven/Gradle，可能存在多个版本的 Commons Lang 库，导致 JVM 加载了错误的版本（例如依赖仲裁选中了 3.x，但代码需 2.x）[^3]。 3. **类路径未正确配置** JAR 文件未放入部署环境的 `lib` 目录，或 IDE 中未添加到构建路径（如 Eclipse 的 `Referenced Libraries`）[^2][^5]。 --- #### 解决方案 ##### 方法 1：添加正确版本的依赖库（推荐） - **Maven 项目**（`pom.xml`）： ```xml <dependency> <groupId>commons-lang</groupId> <artifactId>commons-lang</artifactId> <version>2.6</version> <!-- 或 2.5/2.4 --> </dependency> ``` - **Gradle 项目**（`build.gradle`）： ```gradle implementation 'commons-lang:commons-lang:2.6' ``` - **手动添加 JAR**： 下载 [commons-lang-2.6.jar](https://repo1.maven.org/maven2/commons-lang/commons-lang/2.6/) 并放入项目的 `lib` 目录（非 Web 项目）或 `WEB-INF/lib`（Web 项目）[^5]。 ##### 方法 2：解决依赖冲突 1. 检查依赖树： ```bash mvn dependency:tree | grep commons-lang ``` 2. 排除冲突版本（若存在 3.x）： ```xml <dependency> <groupId>some.group</groupId> <artifactId>some-artifact</artifactId> <version>X.Y.Z</version> <exclusions> <exclusion> <groupId>org.apache.commons</groupId> <artifactId>commons-lang3</artifactId> <!-- 排除3.x --> </exclusion> </exclusions> </dependency> ``` ##### 方法 3：检查运行时类路径 - 确保部署包（如 WAR/JAR）中包含 `commons-lang-2.x.jar`。 - 服务器环境（如 Tomcat）需确认 JAR 位于 `lib` 目录[^4]。 --- #### 验证步骤 1. 清理并重新构建项目（如 `mvn clean install`）。 2. 检查生成的 `target/*.jar` 或 `WEB-INF/lib` 是否包含正确版本的 JAR。 3. 启动应用，确认错误消失。 > **关键提示**：Commons Lang 3.x 与 2.x **不兼容**。若依赖库强制要求 3.x，需修改代码：将 `org.apache.commons.lang` 替换为 `org.apache.commons.lang3`[^5]。 --- ### 相关问题 1. **如何区分 `NoClassDefFoundError` 和 `ClassNotFoundException`？** `ClassNotFoundException` 是类加载器主动查找类失败；`NoClassDefFoundError` 是 JVM 已尝试加载类但依赖缺失（如静态初始化失败）[^2]。 2. **Maven 依赖冲突的快速解决技巧有哪些？** 使用 `mvn dependency:tree` 定位冲突源，结合 `<exclusions>` 排除旧版本，或用 `mvn dependency:analyze` 检测未声明的依赖。 3. **Web 项目中如何确保依赖库被正确加载？** 部署时检查 `WEB-INF/lib` 是否包含所有依赖 JAR，避免服务器全局 `lib` 目录的版本覆盖（如 Tomcat 的 `catalina.jar` 冲突）[^4]。 4. **升级到 Commons Lang 3.x 需要注意什么？** 需修改代码中的包路径（`lang` → `lang3`），部分工具类如 `StringUtils` 的方法签名有变更，需测试兼容性。 5. **如何通过日志定位缺失的依赖？** 启用 JVM 调试参数： ```bash java -verbose:class -jar your_app.jar ``` 日志将输出加载的类路径，明确缺失类的加载时机[^3]。 --- [^1]: [java.lang.NoClassDefFoundError: org/apache/commons/collections/MapUtils](https://github.com/fabric8io/kubernetes-client/issues/1495) [^2]: [Exception in thread "main" java.lang.NoClassDefFoundError](https://blog.csdn.net/BugNest/article/details/125200498) [^3]: [java.lang.NoClassDefFoundError: redis/clients/jedis/JedisPool](https://stackoverflow.com/questions/74982724) [^4]: [解决 Caused by: java.lang.NoClassDefFoundError: org/apache/commons/httpclient/HttpMethod](https://cloud.tencent.com/developer/article/1787280) [^5]: [sqoop报错java.lang.NoClassDefFoundError:org/apache/commons/lang/StringUtils](https://blog.csdn.net/weixin_45525272/article/details/126290500)
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值