hadoop HA 配置下api读取文件

最新推荐文章于 2024-07-21 22:44:45 发布

原创

最新推荐文章于 2024-07-21 22:44:45 发布 · 1.6k 阅读

1 ·

CC 4.0 BY-SA版权

本文介绍了在Hadoop HA环境下，通过API读取文件时的配置和注意事项。与非HA环境不同，由于存在多个nameservice，所以在调用API前需要设定具体的nameservice映射关系。

HA 配置参照：hadoop HA

HADOOP HA 读取api读取文件，与非HA读取文件时在api调用前需要设置的configuration完全不同，因有多个nameservice，因此在api访问hadoop集群前需要明确指定其映射关系。

具体见实例：

package com.liangjya.hadoop.cluster.demo;

import java.io.FileOutputStream;
import java.io.IOException;
import java.io.InputStream;
import java.io.OutputStream;
import java.net.URI;
import java.net.URISyntaxException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
import org.junit.Before;
import org.junit.Test;

public class HDFSDemo {

	FileSystem fSystem=null;
	
	@Before
	public void init(){
		Configuration conf =new Configuration();
		try {
                      //指定nameservice配置
                        conf.set("dfs.nameservices", "ns1");