用java写数据存入HDFS中，采用追加模式

西安人走哪都要吃泡馍

于 2020-09-14 16:29:18 发布

阅读量1.3k

点赞数 2

分类专栏： bug解答文章标签： hadoop hdfs 大数据

本文链接：https://blog.youkuaiyun.com/data_curd/article/details/108581742

版权

本文介绍如何使用Java代码将数据追加写入Hadoop的HDFS文件系统，主要涉及Hadoop相关API的使用，适用于大数据处理场景。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

代码如下：：：：：

package com.postpony.bulkprint.BigData;

import com.cloudera.org.codehaus.jackson.map.ObjectMapper;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import java.io.IOException;

public class Input_HDFS {
   
    private static Configuration conf = new Configuration();
    static {
   
        conf.setBoolean("dfs.support.append", true);
        conf.set("fs.defaultFS","hdfs://node01:8020");
        conf.set("dfs.client.block.write.replace-datanode-on-failure.policy", "NEVER");
        conf.set("fe.hdfs.impl","org.apache.hadoop.hdfs.DistributedFileSystem");
        conf

最低0.47元/天解锁文章