大数据操作日志：常用命令

最新推荐文章于 2025-05-22 00:35:59 发布

comela

最新推荐文章于 2025-05-22 00:35:59 发布

阅读量810

点赞数

CC 4.0 BY-SA版权

分类专栏：大数据文章标签：大数据日常命令

本文链接：https://blog.youkuaiyun.com/comela/article/details/79041422

大数据专栏收录该内容

1 篇文章

订阅专栏

本文介绍了Hadoop文件系统的常用操作命令，如目录与文件的管理，并演示了如何使用Spark SQL进行数据查询。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1. hls 列出目录所有内容：

2. 列出内容并排序， hls -r -t

3. hcat 查看文件内容

4. 上传文件：(把test.file上传到大数据目录下)

hadoop fs -put /home/xxxx/yong/test.file hdfs://xxx.xxx.xxx.xxx:8082/testdir/xxxx_file/xxxaccount

5. 获取文件：（把大数据目录下的文件test2.file下载到指定服务器目录下。）

hadoop fs -get home/xxxx/yong/ hdfs://xxx.xxx.xxx.xxx:8082/testdir/xx_file/test2.file

6. 删除文件：

hrm -skipTrash hdfs://192.168.xxx.xxx:8082/testdir/xx_file/xxx/xxx_xxx_20180110

hrm -r hdfs://192.168.xxx.xxx:8082/testdir/xx_file/xxx/xxx_xxx_20180110

7. 进入到spark

命令：spark-shell

ctrl+R 进行查找。

查询SQL语句:

val t = sqlContext.sql("select count(*) from parquet.`hdfs://192.168.XXX.XXX:8082/testdir/stats/data/Flow.parquet`")

t.show