Hadoop实验：按规则读取HDFS文件系统写入到本地

最新推荐文章于 2024-07-29 08:37:57 发布

原创

最新推荐文章于 2024-07-29 08:37:57 发布 · 1.4k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop #java

本文介绍了如何使用Java API在HDFS中创建一个100字节的文本文件test.txt，然后读取该文件的第101-120字节，并将这些内容保存到本地文件系统的详细步骤。通过CopyFileHDFSFromToLocal.java源码示例，演示了Hadoop文件操作的过程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

题目：在HDFS中生成一个大约100字节的文本文件，写一段程序（可以利用Java API或C API），读入这个文件，并将其第101-120字节的内容写入本地文件系统成为一个新文件

1.在HDFS中生成文本文件test.txt

2.[Java]代码

[hadoop@Master myclass]$ vim CopyFileHDFSFromToLocal.java

import java.io.ByteArrayInputStream;
import java.io.FileOutputStream;
import java.io.InputStream;
import java.io.OutputStream;
import java.net.URI;
 
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IO