hadoop执行sqoop任务找不到jar

sqoop jdbc驱动包 sqoop 导入数据时候报错ERROR sqoop.Sqoop: Got exception running Sqoop: java.lang.RuntimeException: Could not load db driver class: oracle.jdbc.OracleDriver 缺少驱动包。 立即下载

sqoop:1.4.7
hadoop:3.4.1
数据:oracel-hdfs

2025-04-15 16:57:00,850 INFO sqoop.Sqoop: Running Sqoop version: 1.4.7
2025-04-15 16:57:00,901 WARN tool.BaseSqoopTool: Setting your password on the command-line is insecure. Consider using -P instead.
2025-04-15 16:57:00,965 INFO oracle.OraOopManagerFactory: Data Connector for Oracle and Hadoop is disabled.
2025-04-15 16:57:00,975 INFO manager.SqlManager: Using default fetchSize of 1000
2025-04-15 16:57:00,975 INFO tool.CodeGenTool: Beginning code generation
2025-04-15 16:57:01,920 INFO manager.OracleManager: Time zone has been set to GMT
2025-04-15 16:57:01,953 INFO manager.SqlManager: Executing SQL statement: SELECT t.* FROM HYSH_CX.NCME_CREDIT_TYPE t WHERE 1=0
2025-04-15 16:57:01,984 INFO orm.CompilationManager: HADOOP_MAPRED_HOME is /opt/datasophon/hdfs
Note: /tmp/sqoop-hdfs/compile/74c258101e7c0e44855b37b09735db0e/HYSH_CX_NCME_CREDIT_TYPE.java uses or overrides a deprecated API.
Note: Recompile with -Xlint:deprecation for details.
2025-04-15 16:57:03,093 INFO orm.CompilationManager: Writing jar file: /tmp/sqoop-hdfs/compile/74c258101e7c0e44855b37b09735db0e/HYSH_CX.NCME_CREDIT_TYPE.jar
2025-04-15 16:57:03,791 INFO tool.ImportTool: Destination directory /user/hdfs/NCME_CREDIT_TYPE deleted.
2025-04-15 16:57:03,823 INFO manager.OracleManager: Time zone has been set to GMT
2025-04-15 16:57:03,831 INFO mapreduce.ImportJobBase: Beginning import of HYSH_CX.NCME_CREDIT_TYPE
2025-04-15 16:57:03,832 INFO Configuration.deprecation: mapred.job.tracker is deprecated. Instead, use mapreduce.jobtracker.address
2025-04-15 16:57:03,836 INFO Configuration.deprecation: mapred.jar is deprecated. Instead, use mapreduce.job.jar
2025-04-15 16:57:03,843 INFO Configuration.deprecation: mapred.map.tasks is deprecated. Instead, use mapreduce.job.maps
2025-04-15 16:57:03,911 INFO impl.MetricsConfig: Loaded properties from hadoop-metrics2.properties
2025-04-15 16:57:03,921 INFO impl.MetricsSystemImpl: Scheduled Metric snapshot period at 10 second(s).
2025-04-15 16:57:03,921 INFO impl.MetricsSystemImpl: JobTracker metrics system started
2025-04-15 16:57:04,087 INFO db.DBInputFormat: Using read commited transaction isolation
2025-04-15 16:57:04,096 INFO mapreduce.JobSubmitter: number of splits:1
2025-04-15 16:57:04,188 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_local2073730221_0001
2025-04-15 16:57:04,188 INFO mapreduce.JobSubmitter: Executing with tokens: []
2025-04-15 16:57:04,325 INFO mapred.LocalDistributedCacheManager: Creating symlink: /data/tmp/hadoop/mapred/local/job_local2073730221_0001_612a3a92-6e9b-4750-8da1-17ffe2e06983/libjars <- /opt/datasophon/hadoop-3.4.1/libjars/*
2025-04-15 16:57:04,327 WARN fs.FileUtil: Command 'ln -s /data/tmp/hadoop/mapred/local/job_local2073730221_0001_612a3a92-6e9b-4750-8da1-17ffe2e06983/libjars /opt/datasophon/hadoop-3.4.1/libjars/*' failed 1 with: ln: failed to create symbolic link ‘/opt/datasophon/hadoop-3.4.1/libjars/*’: No such file or directory

2025-04-15 16:57:04,327 WARN mapred.LocalDistributedCacheManager: Failed to create symlink: /data/tmp/hadoop/mapred/local/job_local2073730221_0001_612a3a92-6e9b-4750-8da1-17ffe2e06983/libjars <- /opt/datasophon/hadoop-3.4.1/libjars/*
2025-04-15 16:57:04,327 INFO mapred.LocalDistributedCacheManager: Localized file:/tmp/hadoop/mapred/staging/hdfs2073730221/.staging/job_local2073730221_0001/libjars as file:/data/tmp/hadoop/mapred/local/job_local2073730221_0001_612a3a92-6e9b-4750-8da1-17ffe2e06983/libjars
2025-04-15 16:57:04,366 INFO mapreduce.Job: The url to track the job: http://localhost:8080/
2025-04-15 16:57:04,366 INFO mapreduce.Job: Running job: job_local2073730221_0001
2025-04-15 16:57:04,367 INFO mapred.LocalJobRunner: OutputCommitter set in config null
2025-04-15 16:57:04,371 INFO output.PathOutputCommitterFactory: No output committer factory defined, defaulting to FileOutputCommitterFactory
2025-04-15 16:57:04,372 INFO output.FileOutputCommitter: File Output Committer Algorithm version is 2
2025-04-15 16:57:04,372 INFO output.FileOutputCommitter: FileOutputCommitter skip cleanup _temporary folders under output directory:false, ignore cleanup failures: false
2025-04-15 16:57:04,373 INFO mapred.LocalJobRunner: OutputCommitter is org.apache.hadoop.mapreduce.lib.output.FileOutputCommitter
2025-04-15 16:57:04,406 INFO mapred.LocalJobRunner: Waiting for map tasks
2025-04-15 16:57:04,406 INFO mapred.LocalJobRunner: Starting task: attempt_local2073730221_0001_m_000000_0
2025-04-15 16:57:04,422 INFO output.PathOutputCommitterFactory: No output committer factory defined, defaulting to FileOutputCommitterFactory
2025-04-15 16:57:04,422 INFO output.FileOutputCommitter: File Output Committer Algorithm version is 2
2025-04-15 16:57:04,422 INFO output.FileOutputCommitter: FileOutputCommitter skip cleanup _temporary folders under output directory:false, ignore cleanup failures: false
2025-04-15 16:57:04,433 INFO mapred.Task:  Using ResourceCalculatorProcessTree : [ ]
2025-04-15 16:57:04,517 INFO db.DBInputFormat: Using read commited transaction isolation
2025-04-15 16:57:04,519 INFO mapred.MapTask: Processing split: 1=1 AND 1=1
2025-04-15 16:57:04,523 INFO mapred.LocalJobRunner: map task executor complete.
2025-04-15 16:57:04,528 WARN mapred.LocalJobRunner: job_local2073730221_0001
java.lang.Exception: java.lang.RuntimeException: java.lang.ClassNotFoundException: Class HYSH_CX_NCME_CREDIT_TYPE not found
	at org.apache.hadoop.mapred.LocalJobRunner$Job.runTasks(LocalJobRunner.java:492)
	at org.apache.hadoop.mapred.LocalJobRunner$Job.run(LocalJobRunner.java:552)
Caused by: java.lang.RuntimeException: java.lang.ClassNotFoundException: Class HYSH_CX_NCME_CREDIT_TYPE not found
	at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:2737)
	at org.apache.sqoop.mapreduce.db.DBConfiguration.getInputClass(DBConfiguration.java:403)
	at org.apache.sqoop.mapreduce.db.OracleDataDrivenDBInputFormat.createDBRecordReader(OracleDataDrivenDBInputFormat.java:66)
	at org.apache.sqoop.mapreduce.db.DBInputFormat.createRecordReader(DBInputFormat.java:266)
	at org.apache.hadoop.mapred.MapTask$NewTrackingRecordReader.<init>(MapTask.java:528)
	at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:771)
	at org.apache.hadoop.mapred.MapTask.run(MapTask.java:348)
	at org.apache.hadoop.mapred.LocalJobRunner$Job$MapTaskRunnable.run(LocalJobRunner.java:271)
	at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)
	at java.util.concurrent.FutureTask.run(FutureTask.java:266)
	at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
	at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
	at java.lang.Thread.run(Thread.java:750)
Caused by: java.lang.ClassNotFoundException: Class HYSH_CX_NCME_CREDIT_TYPE not found
	at org.apache.hadoop.conf.Configuration.getClassByName(Configuration.java:2641)
	at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:2735)
	... 12 more
2025-04-15 16:57:05,369 INFO mapreduce.Job: Job job_local2073730221_0001 running in uber mode : false
2025-04-15 16:57:05,370 INFO mapreduce.Job:  map 0% reduce 0%
2025-04-15 16:57:05,371 INFO mapreduce.Job: Job job_local2073730221_0001 failed with state FAILED due to: NA
2025-04-15 16:57:05,376 INFO mapreduce.Job: Counters: 0
2025-04-15 16:57:05,379 WARN mapreduce.Counters: Group FileSystemCounters is deprecated. Use org.apache.hadoop.mapreduce.FileSystemCounter instead
2025-04-15 16:57:05,380 INFO mapreduce.ImportJobBase: Transferred 0 bytes in 1.5304 seconds (0 bytes/sec)
2025-04-15 16:57:05,380 WARN mapreduce.Counters: Group org.apache.hadoop.mapred.Task$Counter is deprecated. Use org.apache.hadoop.mapreduce.TaskCounter instead
2025-04-15 16:57:05,380 INFO mapreduce.ImportJobBase: Retrieved 0 records.
2025-04-15 16:57:05,380 ERROR tool.ImportTool: Import failed: Import job failed!

修改方式

修改一下这个mapred-site.xml,然后重启

<property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
 </property>

不行看这里

sqoop-1.4.6.jar sqoop-1.4.6.jar,sqoop报错找不到加载类的时候 将该文件放入sqoop的lib文件夹下 立即下载

相关推荐

sqoop需要导入的包

时候用sqoop需要导入的包 mysql-connector-java-5.1.45.jar,json -to-sqoop.jar

sqoop-1.4.6使用指南

1. sqoop-1.4.6.jar第一步先将sqoop jar包拷贝至Hadoop的mapreduce目录下:cp $SQOOP_HOME/sqoop-1.4.6.jar $HADOOP/share/hadoop/mapreduce/2. JDBC jar包第二步将Oracle和MySQL分别需要用到的jar包拷贝至$SQOOP_HOME/lib下cp ojdbc6.jar $SQOOP_HOM

wonder的地下室 3894

sqoop-1.4.7.jar

当安装sqoop1.4.7版本时,会出现错误,将sqoop-1.4.7.jar下载并放在其对应的lib目录下,问题解决。

【大数据】Sqoop的安装及使用

本文关键字:Sqoop、大数据、组件、数据导入、数据导出。Sqoop 是一款用于在 Hadoop 和关系型数据库之间传输数据的工具,提供了一种快速、简便的方法来将大量数据从关系型数据库导入到 Hadoop 分布式文件系统(HDFS),或者从 Hadoop 导出到关系型数据库。

微光点亮星辰 1330

【科研绘图】【数据拟合曲线】:附Origin详细画图流程

拟合曲线图

weixin_50236590的博客 4万+

cvtColor +内存泄漏

题目不知道怎么取,因为cvtColor并没有产生内存泄漏,但是我由于没有正确使用cvtColor而出现了内存泄漏的问题,所以暂且以cvtColor+内存泄漏为题 1.应用背景 项目中用到cvtColor的地方是需要将灰度图转为3通道的彩色图(实际上转换后仍然为灰色的,但是电脑认为的是3通道的彩色图了) 因此需要用到以下语句 cvtColor(src_img, cvMtxRGB, C

smilebluesky的专栏 6058

菜鸟先飞之sqoop环境搭建以及jar包依赖

文件准备下载到本地 sqoop-1.4.6-cdh5.14.2.tar.gz 拖入安装目录并解压 tar -zxfsqoop-1.4.6-cdh5.14.2.tar 解压文件重命名 mvsqoop-1.4.6 sqoop 配置环境变量 vi /etc/profile export SQOOP_HOME=/opt/install/sqoop export PATH=$SQOOP_HOME/bin:$PATH 切换至配置文件目录 cd /opt/install/sqoop/conf...

望、本归心的博客 1842

在 Mac OS 上编译 WebRTC 教程

在 Mac OS 上编译 WebRTC 教程

iShare_Carlos的博客 1248

Sqoop导入问题汇总

自己在使用Sqoop的过程中碰到许多问题,经过很长时间的查询与摸索,所以有了以下这些总结,为了自己以后方便查询,也为了其他人不再为相同的问题困扰,所以写了这篇文章。 1、生成sqoop import模板 sqoop 的import命令导入的时候可以指定模板(--jar-file 、--class-name),指定模板后就按模板格式导入,不再按默认方式生成模板,生成模板的命令是: sqoop

litall的专栏 990

IIR数字滤波器原理,设计方法及嵌入式应用

基于STM32的二阶直接II型巴特沃斯低通滤波器设计方法及应用

weixin_38342580的博客 1万+

win2012没有远程桌面授权服务器可以提供许可证 如何远程

如果远程windows服务器时,提示“没有远程桌面授权服务器可以提供许可证 如何远程”,先通过以下方式进行强制登录,然后在对服务器进行设置即可,延期使用。 强制登录服务器方式; 1、运行—输入:mstsc /admin /v ip:端口 回车即可 2、进入远程桌面,输入 ip:端口 /admin 例如:mstsc /admin /v 192.168.0.131:23568 进入服务器以后,按照以下步骤进行设置即可: ...

蜗牛快爬 1万+

在hadoop和sqoop和hive中集成LZO步骤

1.在hadoop中集成步骤  1.将lzo的jar包添加到hadoop平台的以下目录中: 2.修改hadoop的核心配置文件,如果是集群则需要修改每一台服务器中的配置   1.关闭hadoop平台: 2. 打开核心配置文件 3.在里面添加以下内容: 4.  重启hadoop平台 2.在hive中集成LZO 1.打开hive的配置文件 2.  添加以下内容 3.sqoop中集成LZO 1. 直接将lzojar包添加到sqoop安装目录下面的lib文件夹中。

lr2364385618的博客 1888

论文阅读:Query-Dependent Video Representation for Moment Retrieval and Highlight Detection

近年来,随着视频理解需求的急剧增加,视频时刻检索和高亮检测(MR/HD)成为人们关注的焦点。MR/HD的主要目标是对给定的文本进行视频时刻定位和内容一致性估计,即显著性得分。尽管最近基于transformer的模型带来了一些进步,但我们发现这些方法并不能完全利用给定查询的信息。例如,在预测时刻及其显著性时,有时会忽略文本查询与视频内容之间的相关性。为了解决这个问题,我们引入了基于查询的DETR (QD-DETR),这是一种为MR/HD量身定制的检测transfomer。

qq_42681787的博客 919

Sqoop找不到主类 Error: Could not find or load main class org.apache.sqoop.Sqoop

最近由于要使用Sqoop来到出数据到hdfs,可是发现Sqoop1.4.5跟hadoop2.X不兼容,需要对Sqoop1.4.5进行编译,编译的具体方法见:http://my.codeweblog.com/AlbertHa/blog/318551 如果一切都顺利的话需要就不会遇到什么问题,但是有一个问题一直困扰了一周! 这是问题是什么呢? 就是每次执行$SQOOP_HOME/bin/sqoop...

weixin_30602505的博客 616

6、深入解析Microsoft 365核心服务对比与迁移策略

本文深入解析了Microsoft 365的核心服务,包括身份和设备管理、现代设备配置体验、Exchange和SharePoint的迁移策略以及Microsoft Teams的协作功能。同时探讨了迁移过程中需要考虑的安全控制措施,为组织规划和实施云迁移项目提供了全面的指导和建议。

k8s6orchestrator的博客 107

华为ONU远程登录管理配置

华为P602E、EG8040CONU、EG8240H5、W626E等ONU、ONT默认无法配置管理IP,无法远程telnet登录管理。校园网项目中因故障诊断需要远程登录ONU可以通过OLT的远程WEB代理功能链接登录,具体配置如下:

symstandsun的博客 6109

hadoop3 使用sqoop 1.4.7 解决方案

解决sqoop停止更新hadoop3无法使用的问题,提供hadoop3 版本下的sqoop安装及配置参考方案

weixin_42065509的博客 6779

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

在安装sqoop时遇到找不到或无法加载主类的问题

在进行HBase、Hadoop、Sqoop联动操作之前。安装Sqoop时遇到找不到或无法加载主类的问题,文章给了两个主要原因及其对应的多种解决方案。

2402_86829837的博客 502

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

pscad IEEE标准系统搭建说明

pscad IEEE标准系统搭建说明,包含典型的IEEE 9节点、14节点、30节点、39节点和118节点系统。内含标准测试系统的原始数据和潮流结果。

安装sqoop-1.4.3-cdh4.5.0遇到找不到Sqoop类的异常

异常: Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/sqoop/Sqoop Caused by: java.lang.ClassNotFoundException: org.apache.sqoop.Sqoop         at java.net.URLClassLoader$1.run(UR

自有贵人相助 1287

sqoop 导mysql数据提示找不到jar文件

今天遇上个异常奇葩的问题,sqoop安装好之后,链接mysql没问题但一导入数据就提示如下: 提示说找不到jar文件。这个jar文件在sqoop目录下的lib文件夹下,可sqoop为何要跑到hdfs下去找?按提示,把lib目录下的jar文件全部导入hdfs下,  再运行,貌似一切正常 貌似还没找到哪个教程说把jar文件要预先传到hdfs上才能运行,hadoop也是自己传上去的。难道sqoop找不到

scjthree的专栏 1618

配置Sqoop1.4.7支持Hadoop3

解决Hadoop3无法使用Sqoop的问题

邵奈一的博客 3325

找不到或无法加载主类 org.apache.sqoop.sqoop

错误:找不到或无法加载主类 org.apache.sqoop.sqoop我从网上搜索答案,说把sqoop的lib目录下的sqoop的jar包放到hadoop的lib下,或者放到share/hadoop/yarn下,其实这种说法是片面的!因为到1.4.5及以后版本安装包的lib下就已经没有了sqoop-1.4.5.jar或者sqoop-1.4.6.jar.解决方法:1.sqoop-1.4.x.tar...

wscrf的博客 5793

如何寻找sqoop-1.4.6.jar文件包,解决找不到或无法加载主类org.apache.sqoop.sqoop的问题

前段时间使用sqoop将sqlserver中的数据导入到hbase中,然后我就下载了sqoop-1.4.6.tar.gz的安装包。 在使用的过程中,确报了如下错误: 错误:找不到或无法加载主类 org.apache.sqoop.sqoop 我从网上搜索答案,说把sqoop的lib目录下的sqoop的jar包放到hadoop的lib下,或者放到share/hadoop/yarn下,其实这种说法

shantaodaoshik852的博客 6500

【详解】Sqoop连接数据库报错(找不到org/apache/commons/lang/StringUtils)

遇到“找不到 org/apache/commons/lang/StringUtils”这样的错误时,通常是由于依赖库缺失或类路径配置不正确。通过检查和手动添加依赖库,以及正确配置环境变量,可以解决这个问题。希望这些步骤能帮助你顺利运行 Sqoop 任务。

牛肉胡辣汤 968
上一篇: DataSophon部署问题汇总
下一篇: Doris-BrokerLoad任务监控
Aronup
博客等级 码龄7年 75粉丝 35原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值