HDFS常用命令及使用Big Data Tools操作HDFS

最新推荐文章于 2025-05-20 11:06:32 发布

原创最新推荐文章于 2025-05-20 11:06:32 发布

· 837 阅读

2 ·

版权

文章标签：

#hdfs #hadoop #大数据

本文介绍了如何一键启动和停止HDFS服务，包括单进程的控制。详细阐述了文件在HDFS上的上传、下载以及相关操作如创建目录、查看文件等。此外，还提到了使用BigDataTools和PyCharm进行HDFS文件的便捷管理。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一键启动和停止

# 一键启动
start-dfs.sh
# 一键停止
stop-dfs.sh

单进程启动和停止

#格式 hdfs --daemon (start|status|stop) (namenode|datanoded|secondarynamenode)
# 启动
hdfs --daemon start datanode
# 停止
hdfs --daemon stop datanode

文件上传

老版本命令：hadoop fs -put test.txt /
新版本命令：hdfs dfs -put test.txt /

# 上传-f 强制覆盖
hadoop fs -put test.txt /
# 负责本地文件到hdfs
hadoop fs -copyFromLocal test.txt /
# 移动本地文件到hdfs
hadoop fs -moveFromLocal test.txt /
# 追加文件到test.txt中
hadoop fs -appendToFile ./hello.txt /test.txt

文件下载

hadoop fs -get /test.txt ./
hadoop fs -copyToLocal /test.txt ./
# 将多个文件下载到1.txt中
hadoop fs -getmerge /*.txt ./1.txt

hdfs的其他命令操作

其他的操作与linux命令类似，大概过一下就OK了

# 创建目录
hadoop fs -mkdir /pipi
# 创建目录的全路径
hadoop fs -mkdir hdfs://node1:8020/pipi
# 在linux机器上创建文件夹的全路径
hadoop fs -mkdir file:///home/itheima
# 查看列表
hadoop fs -ls /
# 查看文件，查看大文件时建议加上 | more
hadoop fs -cat /test.txt
# 复制文件
hadoop fs -cp
# 移动文件
hadoop fs -mv