hdfs shell的基本操作和hdfsWeb查看文件

最新推荐文章于 2024-10-17 20:46:06 发布

原创最新推荐文章于 2024-10-17 20:46:06 发布 · 902 阅读

CC 4.0 BY-SA版权

文章标签：

7 篇文章

订阅专栏

本文详细介绍了HDFS的基本操作命令，包括查询、创建文件夹、上传文件、查看内容、复制下载、删除重命名文件，以及权限设置和副本数调整等实用技巧。

部署运行你感兴趣的模型镜像

$ hadoop dfs -ls /    查询 / 目录下的所有文件和文件夹
$ hadoop dfs -ls -R    以递归的方式

hdfs dfs -mkdir /test    创建test文件夹

$ hadoop dfs -touchz /a.txt    在/目录下创建一个空文件a.txt

-copyFromLocal 把本地文件复制到hdfs，等同于
-put

hdfs dfs -put a.txt /test    把本地当前目录下的a.txt文件复制到  hdfs的 /test目录下

hdfs dfs -cat /test/a.txt

将hdfs中文件，复制拿到本地。

hdfs dfs -copyToLocal /test/a.txt  .     把/test/a.txt复制到当前目录
hdfs dfs -get /test/a.txt  .

. 指当前目录

hdfs dfs -rm -r /test/a.txt

hdfs dfs -mv /a.txt  /b.txt

hdfs dfs -getmerge /   local-file     把 / 目录下的所有文件合并到本地文件 local-file

修改权限

$ hadoop fs -setrep 1 /user/xxx/tmp  
会把tmp目录下的所有文件和子目录的副本都设置为1

$ hdfs balancer  -threshold  10  -include  master,slave1
10%的差距在各个节点之间

您可能感兴趣的与本文相关的镜像

Stable-Diffusion-3.5

图片生成

Stable-Diffusion

Stable Diffusion 3.5 (SD 3.5) 是由 Stability AI 推出的新一代文本到图像生成模型，相比 3.0 版本，它提升了图像质量、运行速度和硬件效率