本文探讨了Hadoop中输出路径的处理机制，包括如何指定输出路径及Hadoop为何不允许覆盖已存在目录的原因。理解这一机制有助于避免数据覆盖的风险。
很多人只会，但没深入体会和想为什么要这样？
拿Hadoop来说，当然，spark也一样的道理。
输出路径由Hadoop自己创建，实际的结果文件遵守part-nnnn的约定。
如何指定一个已有目录作为Hadoop作业的输出路径，作业将无法进行，并会抛出异常抗议一个已经存在的目录。如果想让Hadoop将输出存储到一个目录，它必须是不存的目录。其实，我们可以把这个特点当做Hadoop的一种安全机制，它可以防止Hadoop重写有用的文件以及用户总是忘记弄清的事。
本文转自大数据躺过的坑博客园博客，原文链接：http://www.cnblogs.com/zlslch/p/6092396.html，如需转载请自行联系原作者
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
