hdfs常用shell命令

本文介绍了一系列Hadoop文件系统操作命令,包括文件上传、删除及目录浏览等,并提供了查看YARN应用日志的方法及CentOS系统中设置常用操作的快捷命令方式。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

1. sh hadoop fs -put /soft/offlineprocess/custom.xml /user/oozie/

/soft/offlineprocess/下的custom.xml文件,拷贝到hdfs的/user/oozie/目录下。


2. sh hadoop -rmr /user/oozie/lib/

删除hdfs目录/user/oozie/lib/下的所有内容


3.sh hadoop fs -rm /user/oozie/offlineprocess.jar

删除hdfs目录/user/oozie/目录下的offlineprocess.jar


4.hdfs dfs -ls /user/oozie

查找hdfs目录 /user/oozie下的所有文件


5. 查看日志: ./yarn logs -applicationId application_1499688215525_0004


6. hdfs dfs -ls /tmp/logs/root/logs/application_1512187276224_0212/
hdfs dfs -cat /tmp/logs/root/logs/application_1512187276224_0212/n5_45362


7. centOS中增加快捷键,编辑.bash_profile即可


alias cdh="cd /soft/offlineprocess/" 输入cdh,即可进入目录/soft/offlineprocess/


alias tailinfo="tail -100f /data/logs/offlineprocess/info.log" 输入tailinfo,即可查看/data/logs/offlineprocess/目录下的info.log日志


alias reputjar="hdfs dfs -rm /user/oozie/offlineprocess.jar;hdfs dfs -put /soft/offlineprocess/offlineprocess.jar /user/oozie/offlineprocess.jar" 输入reputjar,即可先删除hdfs中/user/oozie/目录下的offlineprocess.jar,然后重新上传/soft/offlineprocess/目录下的offlineprocess.jar 到目录/user/oozie/


alias lls="hdfs dfs -ls $1" 输入lls /user/oozie/lib,即可查看/user/oozie/lib下的所有文件


alias llsjar="hdfs dfs -ls /user/oozie" 输入llsjar,即可查看/user/oozie下的所有文件


alias killjob="/soft/hadoop/bin/yarn  application  -kill  $1" 中止指定任务




评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值