文章预览:
1.hadoop常用命令
hadoop常用命令就是以下三个:
1.hadoop fs
hadoop fs和hdfs等价:如下图的脚本可知:
2.hadoop checknative
检查原生hadoop和压缩库是否可用,如下图:
3.hadoop classpath
打印对象的类路径,如下图的执行结果:
具体的应用参考:http://cn.voidcc.com/question/p-tenieuea-bex.html
2.hdfs常用命令
如下图:
1.dfs命令:
生产上注意不建议使用mv移动,原因是如果在移动的过程中存在问题,会导致数据不全或有其它问题。建议使用cp,待验证移动的数据没问题之后再去删除源端的。
2.dfsadmin命令:
1.安全模式
hdfs dfsadmin -safemode get #获取安全模式的状态,如下图:
当安全模式OFF时,读、写都可以,当安全模式ON时,读可以、写不行。如下图:
进入安全模式分两种情况:
1.未来必然hdfs查看日志出现安全模式的英文单词,必然说明你的hdfs集群是有问题的,相当于处于一个保护模式。一般需要你尝试手动执行命令,离开安全模式 【优先操作】
2.主动进入安全模式,主动进入一般都是做集群的维护操作,因为需要保证这个时间段hdfs不要有新数据进入,所以需要主动进入安全模式。
3.磁盘的健康检查 hdfs fsck
执行hdfs fsck命令后,会显示出相关的用法:
1)查看文件中损坏的块(-list-corruptfileblocks)
hdfs fsck / -list-corruptfileblocks
2)将损坏的文件移动至/lost+found目录(-move)
hdfs fsck / -move
3)删除损坏的文件(-delete)
hdfs fsck /1.txt -delete
4)检查并列出所有文件状态(-files)
hdfs fsck / -files
5)检查并打印正在被打开执行写操作的文件(-openforwrite)
hdfs fsck / -openforwrite
6)打印文件的Block报告(-blocks) 需要和-files一起使用
hdfs fsck / -files -blocks
7)打印文件块的位置信息(-locations) 需要和-files -blocks一起使用
hdfs fsck /1.txt -files -blocks -location
8)打印文件块位置所在的机架信息(-racks)
hdfs fsck /1.txt -files -blocks -locations -racks
其它的关联我的这篇文章:https://blog.youkuaiyun.com/Student_xx/article/details/110621343