hive/spark-sql : Cannot find DistCp

最新推荐文章于 2025-01-11 10:03:42 发布

原创最新推荐文章于 2025-01-11 10:03:42 发布 · 1k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#hive # sparksql #distcp

错误总结专栏收录该内容

2 篇文章

订阅专栏

探讨Spark-SQL执行insert overwrite操作时效率低下问题及解决方案。通过调整hive.exec.stagingdir参数避免使用DistCp，提高move文件操作效率。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

最近发现spark-sql执行insert overwrite等操作时最后move文件是一个一个的操作，效率较低而且还会存在bug(具体bug其余文章讲解)。因此进行了修改，修改后发现如下报错。

Caused by: java.io.IOException: Cannot find DistCp class package: org.apache.hadoop.tools.DistCp
    at org.apache.hadoop.hive.shims.Hadoop23Shims.runDistCp(Hadoop23Shims.java:1158)
    at org.apache.hadoop.hive.common.FileUtils.copy(FileUtils.java:553)
    at org.apache.hadoop.hive.ql.metadata.Hive.moveFile(Hive.java:2625)

网上遇到同样问题的人很多，一般的解决办法都是找到hadoop-distcp-*.jar放到Spark/hive的CLASSPATH里。但这样其实治标不治本，move文件操作在不跨ns的情况下就不应该有distcp操作。否则效率很低。
分析Hive.java源码，发现如下一段， FileUtils.copy操作是产生distcp的原因。而之所以走进这段逻辑是因为destIsSubDir是true。

boolean destIsSubDir = isSubDir(srcf, destf, fs, isSrcLocal);
...
...
if (destIsSubDir) {
            FileStatus[] srcs = fs.listStatus(srcf, FileUtils.HIDDEN_FILES_PATH_FILTER);
            if (srcs.length == 0) {
              success = true; // Nothing to move.
            }
            for (FileStatus status : srcs) {
              success = FileUtils.copy(srcf.getFileSystem(conf), status.getPath(), destf.getFileSystem(conf), destf,
                  true,     // delete source
                  replace,  // overwrite destination
                  conf);

              if (!success) {
                throw new HiveException("Unable to move source " + status.getPath() + " to destination " + destf);
              }
            }
          } else {
            success = fs.rename(srcf, destf);
          }