hive查询写文件报错Failed with exception Unable to move source hdfs:xx to destination xxx

最新推荐文章于 2024-05-19 17:19:02 发布

原创最新推荐文章于 2024-05-19 17:19:02 发布 · 1.5w 阅读

7 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop #hive #数据分析 #数据挖掘

本文介绍了一种使用Hive导出数据时遇到的问题及解决办法。具体表现为无法将HDFS上的源文件移动到指定位置。解决方案是将hadoop-distcp-2.6.0.jar添加到hive的lib目录中，并重启hiveshell。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

今天用hive查询数据并导出到某个文件夹的时候，报错Failed with exception Unable to move source hdfs:xx to destination xxx

查看hive的log，如下

解决方法：$HADOOP_HOME/share/hadoop/tools/lib/hadoop-distcp-2.6.0.jar放入hive的lib目录

并重启hive shell

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

bottle123

关注关注

0
点赞
踩
7

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

[Hive]那些年我们踩过的Hive坑

SmartSi

06-12

3万+

（1）问题一首先，采用这个命令： hive -hiveconf hive.root.logger=DEBUG,console 可以查看详细信息然后分析可知，缺少mysql的jar包，下载mysql-connector-java-5.1.32.tar.gz，并进行一下操作。下一步操作，添加jar包：（2）问题二

Hive报错：Unable to move source hdfs:****** to destination hdfs:******（已解决）

weixin_41589448的博客

04-02

1028

所以根本原因就是：该分区表在 HIVE中的元数据与HDFS上实际的数据不一致，当执行 insert overwrite 操作时，hive 通过存储在 metastore 中的元数据信息发现目标分区并不存在，也就不会尝试去执行hdfs上该分区对应目录的删除操作了，而实际上hdfs上该分区对应的目录和文件都是存在的，所以作业底层的 rename 操作失败了。修复 hive 元数据跟hdfs实际的数据一致，使用命令 msck repair table xxx来修复hive表的元数据。

参与评论您还未登录，请先登录后发表或查看评论

Failed with exception Unable to move source hdfs://maeter:8000/usr/local/hadoop/input/test_hive/test

最新发布

weixin_42190438的博客

05-19

643

insert overwrite 时发生了上述错误，从下图可以看到，hive任务已经执行成功了，只是在把数据从临时目录转移到指定目录时发生了错误。使用命令：hadoop fs -chmod 766 film_name修改。可以看到要写入的文件夹的权限不够，所以修改使其具有读写权限即可。或者在hdfs网页端修改，鼠标放到图中所在位置即会出现修改界面。修改文件夹权限后，再次执行就成功了。

Hive报错：Failed with exception Unable to move source file:******* to destination hdfs:******

qq_51741039的博客

04-27

6322

Hive报错：Failed with exception Unable to move source file:******* to destination hdfs:****** 报错截图：不磨叽，直接上我的处理方法处理方法：很可能是防火墙没关（每台机子都要关） systemctl start firewalld systemctl stop firewalld 解题思路： 1.不能够移动源文件，可能出现用户权限不够的情况 sudo chmod -R 777 root/1.tx

出现报错：org.apache.hadoop.hive.ql.exec.MoveTask. Unable to move source

sinat_35197112的博客

10-27

2396

出现报错：org.apache.hadoop.hive.ql.exec.MoveTask. Unable to move source

spark把kafka数据写到hive

Sivan

06-05

3942

写入分区表：准备工作：先建好分区表方法一：（使用dataframe）写数据到数据所在的位置，因为hive分区的本质就是分文件夹，先用spark把数据写到文件夹位置，然后执行sql添加分区 1.写数据到文件夹 //df为DataFrame df.write.mode(SaveMode.Overwrite).format("parquet") .partitionBy("day" , "dev_platform" ).save(outputPath) 2.寻找刚刚数据新建的.

大数据问题排查系列 - 因HIVE 中元数据与HDFS中实际的数据不一致引起的问题的修复

明哥的IT随笔

09-02

2171

大数据问题排查系列 - 因HIVE 中元数据与HDFS中实际的数据不一致引起的问题的修复前言大家好，我是明哥！本片博文是“大数据问题排查系列”之一，讲述某HIVE SQL 作业因为 HIVE 中的元数据与 HDFS中实际的数据不一致引起的一个问题的排查和修复。以下是正文。问题现象客户端报错如下： Unable to move source xxx to destination xxx 问题分析客户端的报错信息，并没有完全展现问题背后的全貌。我们进入 hiveserver2 所在节点查看hi

hive的load报错Error: EXECUTION FAILED: Task MOVE error HiveException: [Error 20531] Unable to move sour

weixin_49114503的博客

12-11

1003

hive load报错Error: EXECUTION FAILED: Task MOVE error HiveException: [Error 20531] Unable to move source hdfs://nameservice1/tmp/logs to destination

hive日志位置（日志定位報錯:Failed with exception Unable to move sourcehdfs

m0_51040382的博客

08-08

911

Hive中的日志分為兩種 1. 系統日志，記錄了hive的運行情況，錯誤狀況。 2. Job 日志，記錄了Hive 中job的執行的歷史過程。日志查看方法 1，在本地運行機器上 hive日志存儲位置在本機上，不是hadoop上：在hive/conf/ hive-log4j.properties 文件中記錄，該文件如果沒有，就是使用默認，默認的存儲情況： hive.root.logger=WARN,DRFA hive.log.dir=/tmp

hive moving data报错，unable to move source...，yarn显示任务执行成功

涤生大数据

11-15

6866

1.报错情况有个小伙伴hive任务报错，moving data时，报错如下 Failded with exception:unable to move source hdfs://........... 2.问题排查这种情况一般跟任务没有关系了，说明hive任务已经执行成功了。因为默认hive，spark任务数据先写到一个临时目录，等各个节点的数据都写完整以后，校验没问题了，在move到表的hdfs路径下（所谓move其实就是重命令），这个过程报错，说明跟hdfs有关系，跟yarn，hiv.

hive日志位置（日志定位报错:Failed with exception Unable to move sourcehdfs://namenode/tmp/hive-pmp_bi/h）...

weixin_30563319的博客

12-17

953

Hive中的日志分为两种 1. 系统日志，记录了hive的运行情况，错误状况。 2. Job 日志，记录了Hive 中job的执行的历史过程。日志查看方法 1，在本地运行机器上 hive日志存储位置在本机上，不是hadoop上：在hive/conf/ hive-log4j.properties 文件中记录，该文件如果没有，就是使用默认，默认的存储...

hive 导出数据报错问题解决

qq_51943014的博客

07-21

1625

Failed with exception Unable to move source hdfs://node1:8020/tmp/hive/hadoop/e1f5e71d-375d-4393-a07c-fe44a4a77626/hive_2022-07-21_22-18-53_655_4722056337462286090-1/-mr-10000 to destination /data/hive/out FAILED: Execution Error, return code 1 from org.ap

hive存储：FAILED: SemanticException Unable to determine if hdfs://nameservice1/

会飞的鱼

08-13

3114

用mysql作为hive的元数据存储数据库，要注意，在mysql中hive的存储路径问题 hive> select * from qq; 报错： FAILED: SemanticException Unable to determine if hdfs://nameservice1/apps/hive/warehouse/external/qq is encrypted: java.la...

cdh5.7 做完HA后hive 查询出现异常： expected: hdfs://nameservice

weixin_30951231的博客

08-09

1146

异常信息如下： select * from b_pt_pr_customer_address_info limit 19; FAILED: SemanticException Unable to determine if hdfs://nodexx:8020/user/hive/warehouse/ss_aa_bb_info is encrypted: java.lang.IllegalA...

记一次CDH集群迁移产生的问题——HIVE

fox_233的博客

12-06

394

1. metadata.SessionHiveMetaStoreClient；2. MapReduce任务卡住

Hadoop错误积累

chuandaoxinchang的专栏

06-15

1414

1.无法启动DataNode 查看hadoop-root-datanode-node1.log 报错信息：java.io.IOException: Incompatible clusterIDs in /usr/local/hadoop-2.6.0/tmp/dfs/data: namenode clusterID = CID-37ca639d-aae0-453f-9ae8-37

Hive问题汇总

TriumPhSk的博客

11-25

3822

1、Failed with exception java.io.IOException:java.lang.RuntimeException: ORC split generation failed with exception: java.lang.ArrayIndexOutOfBoundsException: 6 原因是低版本的hive不能读取高版本hive的orc格式的文件

hive上传数据报错Failed with exception Unable to move source file:/home/date/student to destination hdfs://hadoop01:8020/user/hive/warehouse/dt.db/student/student FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.MoveTask

06-11

这个错误提示是因为Hive在将本地文件移动到HDFS时失败了。这可能是由于以下原因之一： 1. HDFS文件系统没有足够的权限，你需要检查HDFS文件系统的权限是否正确。 2. HDFS文件系统没有足够的空间，你需要检查HDFS...