CDH6.0、6.1篇：7、Hadoop端代码测试

最新推荐文章于 2023-05-05 17:49:26 发布

laughing1997

最新推荐文章于 2023-05-05 17:49:26 发布

阅读量535

点赞数

CC 4.0 BY-SA版权

分类专栏： CDH

本文链接：https://blog.youkuaiyun.com/laughing1997/article/details/105181585

CDH 专栏收录该内容

8 篇文章

订阅专栏

本文介绍在CDH环境中对Hadoop进行代码测试的方法，包括Maven依赖配置与使用FileSystem API进行文件系统操作的示例，如列出HDFS根目录下的所有文件和文件夹。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

配置了CDH对hadoop端进行代码测试

POM文件的maven坐标

<dependency>
      <groupId>org.apache.hadoop</groupId>
      <artifactId>hadoop-common</artifactId>
      <version>3.0.0</version>
    </dependency>
    <dependency>
      <groupId>org.apache.hadoop</groupId>
      <artifactId>hadoop-hdfs</artifactId>
      <version>3.0.0</version>
    </dependency>
    <dependency>
      <groupId>org.apache.hadoop</groupId>
      <artifactId>hadoop-client</artifactId>
      <version>3.0.0</version>
    </dependency>
    <dependency>
      <groupId>org.apache.hadoop</groupId>
      <artifactId>hadoop-auth</artifactId>
      <version>3.0.0</version>
</dependency>

代码展示

FileSystem fs = null;

	@Before
	public void init() throws Exception 
	{
		Configuration conf = new Configuration();
		// conf.set("fs.defaultFS", "hdfs://node1:8020"); //NameNode 端口 fs.defaultFS
		/**
		 * 参数优先级： 1、客户端代码中设置的值 2、classpath下的用户自定义配置文件 3、然后是jar中默认配置
		 */
		// 获取一个hdfs的访问客户端 NameNode 端口 fs.defaultFS
		fs = FileSystem.get(new URI("hdfs://node1:8020"), conf, "root");
	}

	/**
	 * 查看文件及文件夹信息
	 * 
	 * @throws IOException
	 * @throws IllegalArgumentException
	 * @throws FileNotFoundException
	 */
	@Test
	public void testListAll() throws FileNotFoundException, IllegalArgumentException, IOException 
	{
		FileStatus[] listStatus = fs.listStatus(new Path("/"));

		String flag = "";
		for (FileStatus fstatus : listStatus) {

			if (fstatus.isFile()) {
				flag = "f-- ";
			} else {
				flag = "d-- ";
			}
			System.out.println(flag + fstatus.getPath().getName());
			System.out.println(fstatus.getPermission());
		}
	}