Presto Error moving data files from hdfs

最新推荐文章于 2023-05-31 20:10:36 发布

yyoc97

最新推荐文章于 2023-05-31 20:10:36 发布

阅读量1k

点赞数

分类专栏： presto 大数据文章标签： presto Error moving

本文链接：https://blog.youkuaiyun.com/yyoc97/article/details/79800620

版权

大数据同时被 2 个专栏收录

73 篇文章

订阅专栏

presto

5 篇文章

订阅专栏

本文介绍了使用azkaban执行Presto批量任务时遇到的问题，即错误移动HDFS文件导致的任务首次执行失败。通过调整任务间的依赖关系，解决了因同时进行表的删除和添加操作而引发的错误。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Error moving data files from hdfs: to final location hdfs

azkaban执行批量执行presto任务时遇到：

prestodb.exceptions.PrestoExternalError: 
PrestoExternalError(type=EXTERNAL, name=HIVE_FILESYSTEM_ERROR, 
message="Error moving data files from hdfs://fp-bd6:8020/tmp/presto-dev/66c96fc8-7c29-4d76-97a1-9c83d3edb71c/20180403_025435_00063_dt4wd_004e32c7-3cc3-4c21-93de-0eeba247e860 
to final location hdfs://fp-bd6:8020/apps/hive/warehouse/cdm_crm.db/rfm_base/20180403_025435_00063_dt4wd_004e32c7-3cc3-4c21-93de-0eeba247e860")

第一次任务会执行失败，失败后但继续执行后面的却能成功。后来发现多个任务同时删除和添加同一个表presto是不支持的。然后调整下任务执行的依赖关系就能正常执行了。