hdfs上传和下载文件

这篇博客主要介绍了如何使用HDFS进行文件的上传和下载操作,详细讲解了service类和服务客户端的相关方法,包括open用于读取文件,create用于创建和写入文件,以及fs方法在文件系统操作中的应用。
static FileSystem fs;

    static {
   
   
        try {
   
   
            // 打开文件通道,uri里面是虚拟机的地址
            // fs为对hdfs文件进行操作的对象
            fs = FileSystem.get(new URI("hdfs://192.168.56.100:9000"),new Configuration());
        } catch (IOException e) {
   
   
            e.printStackTrace();
        } catch (URISyntaxException e) {
   
   
            e.printStackTrace();
        }
    }

open和create方法分别为读和写,fs方法
在这里插入图片描述
service类:

// 开启服务器后再开启客户端
    public static</
HDFS(Hadoop Distributed File System)中,上传下载文件是常见的操作,主要用于将数据从本地文件系统传输到HDFS,或者从HDFS传输回本地文件系统。 ### 文件上传命令 要将文件从本地文件系统上传HDFS,可以使用以下命令: ```bash hdfs dfs -put <local_file_path> <hdfs_directory_path> ``` 此命令将指定的本地文件上传HDFS中的指定目录。例如,如果要将本地路径`/opt/wordcount.txt`上传HDFS的`/myTask/input`目录中,命令将是: ```bash hdfs dfs -put /opt/wordcount.txt /myTask/input ``` 此外,也可以使用`-copyFromLocal`选项来实现相同的功能: ```bash hdfs dfs -copyFromLocal <local_file_path> <hdfs_directory_path> ``` ### 文件下载命令 要从HDFS下载文件到本地文件系统,可以使用以下命令: ```bash hdfs dfs -get <hdfs_file_path> <local_directory_path> ``` 此命令将HDFS中的指定文件下载到本地的指定目录。例如,如果要将HDFS中的`/myTask/input/wordcount.txt`下载到本地的`/opt`文件夹中,命令将是: ```bash hdfs dfs -get /myTask/input/wordcount.txt /opt ``` 同样地,也可以使用`-copyToLocal`选项来实现这一功能: ```bash hdfs dfs -copyToLocal <hdfs_file_path> <local_directory_path> ``` ### 示例代码 下面是一个简单的脚本示例,演示如何使用上述命令上传下载文件: ```bash # 创建HDFS上的目标目录 hdfs dfs -mkdir -p /myTask/input # 上传文件HDFS hdfs dfs -put /opt/wordcount.txt /myTask/input # 下载文件HDFS到本地 hdfs dfs -get /myTask/input/wordcount.txt /opt/downloaded_wordcount.txt ``` 这些命令示例脚本可以帮助用户有效地管理HDFS中的文件,实现数据的上传下载[^2]。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值