Hadoop读书笔记----（二）写文件

最新推荐文章于 2024-07-05 00:00:00 发布

最新推荐文章于 2024-07-05 00:00:00 发布 · 138 阅读

文章标签：

#Hadoop #读书 #F#

hadoop 专栏收录该内容

7 篇文章

订阅专栏

本文详细解析了Hadoop中创建文件的过程，并指出通过设置特定参数可以实现文件的覆盖写入而不触发错误。深入探讨了Hadoop分布式文件系统(HDFS)的源代码实现。

hadoop写文件：

流程：

修正：

跟了源代码，发现往HDFS里创建文件的源代码:

  public FSDataOutputStream create(Path f, Progressable progress) throws IOException {
    return create(f, true, 
                  getConf().getInt("io.file.buffer.size", 4096),
                  getDefaultReplication(),
                  getDefaultBlockSize(), progress);
  }

注意第二个参数写死true，的时候可以覆盖而不会报错。