Hadoop HDFS编程 API入门系列之HDFS_HA（五）

最新推荐文章于 2025-09-13 12:54:57 发布

weixin_34195364

最新推荐文章于 2025-09-13 12:54:57 发布

阅读量99

点赞数

CC 4.0 BY-SA版权

文章标签：大数据开发工具 java

原文链接：https://yq.aliyun.com/articles/370503

本文介绍如何配置Hadoop的高可用性(HA)并使用HDFS HA进行文件上传。通过具体代码示例展示了设置Hadoop配置参数的方法，包括定义名称节点、RPC地址等，并演示了如何从本地文件系统上传文件到HDFS。

代码

 1 package zhouls.bigdata.myWholeHadoop.HDFS.hdfs3;
 2 
 3 import java.io.FileInputStream;
 4 import java.io.InputStream;
 5 import java.io.OutputStream;
 6 import java.net.URI;
 7 
 8 import org.apache.hadoop.conf.Configuration;
 9 import org.apache.hadoop.fs.FileSystem;
10 import org.apache.hadoop.fs.Path;
11 import org.apache.hadoop.io.IOUtils;
12 
13 public class HDFS_HA {
14 
15     
16     public static void main(String[] args) throws Exception {
17         Configuration conf = new Configuration();
18         conf.set("fs.defaultFS", "hdfs://ns1");
19         conf.set("dfs.nameservices", "ns1");
20         conf.set("dfs.ha.namenodes.ns1", "nn1,nn2");
21         conf.set("dfs.namenode.rpc-address.ns1.nn1", "hadoop01:9000");
22         conf.set("dfs.namenode.rpc-address.ns1.nn2", "hadoop02:9000");
23         //conf.setBoolean(name, value);
24         conf.set("dfs.client.failover.proxy.provider.ns1", "org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider");
25         FileSystem fs = FileSystem.get(new URI("hdfs://ns1"), conf, "hadoop");
26         InputStream in =new FileInputStream("D://eclipse.rar");
27         OutputStream out = fs.create(new Path("/eclipse"));
28         IOUtils.copyBytes(in, out, 4096, true);
29     }
30 }