大数据开发系列(二)----HDFS的Shell相关操作

本文详细介绍了Hadoop文件系统的常用命令,包括创建文件夹、上传下载文件、移动复制文件、查看文件信息以及删除文件等操作,是Hadoop使用者的重要参考资料。
部署运行你感兴趣的模型镜像

在hadoop创建文件夹:
查看命令:hadoop  fs

在hadoop上创建文件夹
命令:hadoop    fs -mkdir   /sanguo

hadoop fs -mkdir   /File_Save
  
查看hadoop目录文件
文件命令:hadoop  fs -ls    /
hadoop fs -ls /File_Save

把本地文件上传到hadoop(已存在的文件不会覆盖)
hadoop fs  -put ./weiguo.txt  /sanguo


把本地文件复制到hadoop(已存在的文件不会覆盖)

hadoop   fs  -copyFromLocal  ./weiguo.txt    /sanguo


追加内容

hadoop fs -appendToFile  ./aaa.txt  /shuguo.txt

1.hadoop命令行
    (1)查看帮助
        hadoop fs -help 
        
    (2)查看当前目录信息
        hadoop fs -ls /
        
    (3)上传文件
        hadoop fs -put /本地路径 /hadoop路径
hadoop fs  -put ./weiguo.txt  /sanguo
        
    (4)剪切文件
        hadoop fs -moveFromLocal  ./a.txt     /aa.txt
hadoop  fs   -moveFromLocal   ./wuguo.txt /sanguo/wuguo.txt
        
    (5)下载文件到本地
        hadoop fs -get  /hadoop路径 /本地路径
hadoop fs -get   /sanguo/shuguo.txt     /opt
        
    (6)合并下载
        hadoop fs -getmerge /hadoop路径文件夹 /合并后的文件
        
    (7)创建文件夹
        hadoop fs -mkdir /hello
        
    (8)创建多级文件夹
        hadoop fs -mkdir -p /hello/world
hadoop  fs -mkdir   -p  /anmals/dog
        
    (9)移动hadoop文件
        hadoop fs -mv /hadoop路径 /hadoop路径
        
    (10)复制hadoop文件
        hadoop fs -cp /hadoop路径 /hadoop路径
hadoop  fs -cp /sanguo/shuguo.txt   /jinguo

        
    (11)删除hadoop文件
        hadoop fs -rm /aa.txt
hadoop  fs -rm /xsync
        
    (12)删除hadoop文件夹
        hadoop fs -rm -r /hello
hadoop  fs  -rm -r  /anmals
        
    (13)查看hadoop中的文件
        hadoop fs -cat /文件
        hadoop fs -tail -f /文件
hadoop fs  -cat /shuguo.txt
hadoop fs -tail -f  /shuguo.txt
    (14)查看文件夹中有多少个文件
        hadoop fs -count /文件夹
hadoop fs -count /
        
    (15)查看hadoop的总空间
        hadoop fs -fs /
        hadoop fs -fs -h /
        
    (16)修改副本数    
        hadoop fs -setrep 1 /a.txt
hadoop fs -setrep 10  /shuguo.txt

hadoop fs -setrep 

统计文件夹大小
hadoop fs -du -s -h /sanguo
hadoop fs -du  -h /sanguo
   

您可能感兴趣的与本文相关的镜像

Langchain-Chatchat

Langchain-Chatchat

AI应用
Langchain

Langchain-Chatchat 是一个基于 ChatGLM 等大语言模型和 Langchain 应用框架实现的开源项目,旨在构建一个可以离线部署的本地知识库问答系统。它通过检索增强生成 (RAG) 的方法,让用户能够以自然语言与本地文件、数据库或搜索引擎进行交互,并支持多种大模型和向量数据库的集成,以及提供 WebUI 和 API 服务

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值