hdfs-javaAPI

最新推荐文章于 2024-04-20 16:36:29 发布

郝大侠001

最新推荐文章于 2024-04-20 16:36:29 发布

阅读量281

点赞数

CC 4.0 BY-SA版权

分类专栏：大数据基础大数据基础

本文链接：https://blog.youkuaiyun.com/jmkmlm123456/article/details/88689971

大数据基础同时被 2 个专栏收录

19 篇文章

订阅专栏

大数据基础

19 篇文章

订阅专栏

博客介绍了在Java项目中操作Hadoop的步骤，包括新建普通Java项目、导入Hadoop包、导入两个核心配置文件，特别提醒在hdfs - site.xml文件中配置权限信息，最后编写从HDFS读取数据和上传数据的代码。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.新建普通java项目
2.导入hadoop包
在这里插入图片描述
导包步骤

3.导入两个核心配置文件

注意hdfs-site.xml文件中配置权限信息，否则一会容易发生权限不够，拒绝写入。

4.编写从hdfs读取数据和上传数据

public static void main(String[] args) throws Exception {
		Configuration conf = new Configuration();
		conf.set("fs.defaultFS","hdfs://master:9000");
		conf.set("fs.hdfs.impl","org.apache.hadoop.hdfs.DistributedFileSystem");
		FileSystem fs = FileSystem.get(conf);
		Path file = new Path("/Demo/b.txt"); 
		FSDataInputStream open = fs.open(file);
		BufferedReader d = new BufferedReader(new InputStreamReader(open));
		String line = d.readLine();
		System.out.println(line);
		d.close();
		fs.close();
	}

public static void main(String[] args) throws IOException {
		Configuration conf = new Configuration();
		conf.set("fs.defaultFS","hdfs://master:9000");
		conf.set("fs.hdfs.impl","org.apache.hadoop.hdfs.DistributedFileSystem");
		FileSystem fs = FileSystem.get(conf);
		Path path = new Path("/Demo/b.txt");
		FSDataOutputStream append = fs.append(path);
		BufferedWriter writer = new BufferedWriter(new OutputStreamWriter(append));
		writer.write("0320");
		writer.close();
		fs.close();
	}