hive查询写文件报错Failed with exception Unable to move source hdfs:xx to destination xxx

最新推荐文章于 2024-05-19 17:19:02 发布

原创最新推荐文章于 2024-05-19 17:19:02 发布 · 1.5w 阅读

7 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop #hive #数据分析 #数据挖掘

本文介绍了一种使用Hive导出数据时遇到的问题及解决办法。具体表现为无法将HDFS上的源文件移动到指定位置。解决方案是将hadoop-distcp-2.6.0.jar添加到hive的lib目录中，并重启hiveshell。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

今天用hive查询数据并导出到某个文件夹的时候，报错Failed with exception Unable to move source hdfs:xx to destination xxx

查看hive的log，如下

解决方法：$HADOOP_HOME/share/hadoop/tools/lib/hadoop-distcp-2.6.0.jar放入hive的lib目录

并重启hive shell

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

bottle123

关注关注

0
点赞
踩
7

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

Hive中数据报错:Failed with exception java.io.IOException: rename for src path: hdfs://xx returned false.

石榴姐yyds

04-23

2631

1.现象执行hive中shell脚本的时候报如下错误 Logging initialized using configuration in file:/etc/hive/1.1.0.0-0131/0/hive-log4j.properties Query ID = root_20200423155947_dfd65c44-2baa-44e2-853d-3fd8e58a7701 Total ...

hive报错：Failed to move to trash: hdfs Permission denied by sticky 无法删除文件

weixin_41108545的博客

09-07

3106

背景描述：由于默认的hdfs是备份为3，在三台集群上hive的数据库都有备份，现在准备删除其他datanode上的备份，但执行 hadoop fs -rm -r /user/hive/warehouse/*命令时报错： rm: Failed to move to trash: Permission denied by sticky bit: user=root, path=… 错误分析：经过网上搜查之后，发现错误原因可能有三，一是root用户权限不够，在hdfs下，hdfs才是最大权限用户，解决方法是增

参与评论您还未登录，请先登录后发表或查看评论

Hive报错：Unable to move source hdfs:****** to destination hdfs:******（已解决）

weixin_41589448的博客

04-02

1038

所以根本原因就是：该分区表在 HIVE中的元数据与HDFS上实际的数据不一致，当执行 insert overwrite 操作时，hive 通过存储在 metastore 中的元数据信息发现目标分区并不存在，也就不会尝试去执行hdfs上该分区对应目录的删除操作了，而实际上hdfs上该分区对应的目录和文件都是存在的，所以作业底层的 rename 操作失败了。修复 hive 元数据跟hdfs实际的数据一致，使用命令 msck repair table xxx来修复hive表的元数据。

Failed with exception Unable to move source hdfs://maeter:8000/usr/local/hadoop/input/test_hive/test

最新发布

weixin_42190438的博客

05-19

648

insert overwrite 时发生了上述错误，从下图可以看到，hive任务已经执行成功了，只是在把数据从临时目录转移到指定目录时发生了错误。使用命令：hadoop fs -chmod 766 film_name修改。可以看到要写入的文件夹的权限不够，所以修改使其具有读写权限即可。或者在hdfs网页端修改，鼠标放到图中所在位置即会出现修改界面。修改文件夹权限后，再次执行就成功了。

Hive报错：Failed with exception Unable to move source file:******* to destination hdfs:******

qq_51741039的博客

04-27

6324

Hive报错：Failed with exception Unable to move source file:******* to destination hdfs:****** 报错截图：不磨叽，直接上我的处理方法处理方法：很可能是防火墙没关（每台机子都要关） systemctl start firewalld systemctl stop firewalld 解题思路： 1.不能够移动源文件，可能出现用户权限不够的情况 sudo chmod -R 777 root/1.tx

出现报错：org.apache.hadoop.hive.ql.exec.MoveTask. Unable to move source

sinat_35197112的博客

10-27

2400

出现报错：org.apache.hadoop.hive.ql.exec.MoveTask. Unable to move source

【Hive】报错 FAILED: SemanticException Unable to determine if hdfs://

Simple 专栏

10-08

3608

Logging initialized using configuration in file:/soft/softwares/apache-hive-1.2.1-bin/conf/hive-log4j.properties FAILED: SemanticException Unable to determine if hdfs://localhost:8020/user/hive/wareh...

大数据学习15：报错 FAILED: SemanticException Unable to determine if

ggwxk1990的博客

09-22

7983

大数据学习15：FAILED: SemanticException Unable to determine if报错：由于修改了hdfs 的端口，导致报错，这里是因为使用UDF自定义函数，hive要将hfds上的jar传入分布式缓存中，并且mysql中元数据未修改导致。 hive (default)> select ename ,hello(ename) from emp; converting

Hive数据仓库问题:SemanticException Unable to determine if hdfs

一亩三分地

06-01

1万+

hive> select * from users; 报错信息: FAILED: SemanticException Unable to determine if hdfs://mycluster/user/hive/warehouse/hive.db/users is encrypted: java.lang.IllegalArgumentException: Wrong ...

hive的load报错Error: EXECUTION FAILED: Task MOVE error HiveException: [Error 20531] Unable to move sour

weixin_49114503的博客

12-11

1011

hive load报错Error: EXECUTION FAILED: Task MOVE error HiveException: [Error 20531] Unable to move source hdfs://nameservice1/tmp/logs to destination

hive日志位置（日志定位報錯:Failed with exception Unable to move sourcehdfs

m0_51040382的博客

08-08

912

Hive中的日志分為兩種 1. 系統日志，記錄了hive的運行情況，錯誤狀況。 2. Job 日志，記錄了Hive 中job的執行的歷史過程。日志查看方法 1，在本地運行機器上 hive日志存儲位置在本機上，不是hadoop上：在hive/conf/ hive-log4j.properties 文件中記錄，該文件如果沒有，就是使用默認，默認的存儲情況： hive.root.logger=WARN,DRFA hive.log.dir=/tmp

hive moving data报错，unable to move source...，yarn显示任务执行成功

涤生大数据

11-15

6869

1.报错情况有个小伙伴hive任务报错，moving data时，报错如下 Failded with exception:unable to move source hdfs://........... 2.问题排查这种情况一般跟任务没有关系了，说明hive任务已经执行成功了。因为默认hive，spark任务数据先写到一个临时目录，等各个节点的数据都写完整以后，校验没问题了，在move到表的hdfs路径下（所谓move其实就是重命令），这个过程报错，说明跟hdfs有关系，跟yarn，hiv.

hive日志位置（日志定位报错:Failed with exception Unable to move sourcehdfs://namenode/tmp/hive-pmp_bi/h）...

weixin_30563319的博客

12-17

955

Hive中的日志分为两种 1. 系统日志，记录了hive的运行情况，错误状况。 2. Job 日志，记录了Hive 中job的执行的历史过程。日志查看方法 1，在本地运行机器上 hive日志存储位置在本机上，不是hadoop上：在hive/conf/ hive-log4j.properties 文件中记录，该文件如果没有，就是使用默认，默认的存储...

hive 导出数据报错问题解决

qq_51943014的博客

07-21

1629

Failed with exception Unable to move source hdfs://node1:8020/tmp/hive/hadoop/e1f5e71d-375d-4393-a07c-fe44a4a77626/hive_2022-07-21_22-18-53_655_4722056337462286090-1/-mr-10000 to destination /data/hive/out FAILED: Execution Error, return code 1 from org.ap

hive存储：FAILED: SemanticException Unable to determine if hdfs://nameservice1/

会飞的鱼

08-13

3119

用mysql作为hive的元数据存储数据库，要注意，在mysql中hive的存储路径问题 hive> select * from qq; 报错： FAILED: SemanticException Unable to determine if hdfs://nameservice1/apps/hive/warehouse/external/qq is encrypted: java.la...

cdh5.7 做完HA后hive 查询出现异常： expected: hdfs://nameservice

weixin_30951231的博客

08-09

1148

异常信息如下： select * from b_pt_pr_customer_address_info limit 19; FAILED: SemanticException Unable to determine if hdfs://nodexx:8020/user/hive/warehouse/ss_aa_bb_info is encrypted: java.lang.IllegalA...

记一次CDH集群迁移产生的问题——HIVE

fox_233的博客

12-06

395

1. metadata.SessionHiveMetaStoreClient；2. MapReduce任务卡住

Hadoop错误积累

chuandaoxinchang的专栏

06-15

1415

1.无法启动DataNode 查看hadoop-root-datanode-node1.log 报错信息：java.io.IOException: Incompatible clusterIDs in /usr/local/hadoop-2.6.0/tmp/dfs/data: namenode clusterID = CID-37ca639d-aae0-453f-9ae8-37

hive上传数据报错Failed with exception Unable to move source file:/home/date/student to destination hdfs://hadoop01:8020/user/hive/warehouse/dt.db/student/student FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.MoveTask

06-11

这个错误提示是因为Hive在将本地文件移动到HDFS时失败了。这可能是由于以下原因之一： 1. HDFS文件系统没有足够的权限，你需要检查HDFS文件系统的权限是否正确。 2. HDFS文件系统没有足够的空间，你需要检查HDFS文件系统的磁盘空间是否足够。 3. 源文件可能已经被移动或删除了，你需要检查源文件是否存在。 4. Hive的配置可能不正确，你需要检查Hive的配置是否正确。你需要仔细检查以上原因，并尝试解决问题。