hadoop

最新推荐文章于 2025-08-05 13:27:05 发布

原创最新推荐文章于 2025-08-05 13:27:05 发布 · 920 阅读

16 ·

CC 4.0 BY-SA版权

文章标签：

#spark

一、HDFS（Hadoop Distributed File System）相关命令
• 查看文件系统

• `hdfs dfs -ls /`：列出根目录下的文件和目录。如果要查看其他目录的内容，可以将`/`替换为对应的目录路径。例如，`hdfs dfs -ls /user/hadoop`会列出`/user/hadoop`目录下的内容。

• `hdfs dfs -ls -h /`：以更易读的格式（如以 KB、MB、GB 等单位显示文件大小）列出根目录下的文件和目录。

• `hdfs dfs -ls -R /`：递归列出根目录下所有子目录和文件。

• 文件操作

• 上传文件

• `hdfs dfs -put local_file_path hdfs_directory_path`：将本地文件上传到 HDFS 目录。例如，`hdfs dfs -put /home/hadoop/localfile.txt /user/hadoop/hdfsdir`会把本地的`localfile.txt`文件上传到 HDFS 的`/user/hadoop/hdfsdir`目录下。

• `hdfs dfs -copyFromLocal local_file_path hdfs_directory_path`：和`-put`功能类似，也是将本地文件上传到 HDFS，但`-copyFromLocal`更强调从本地文件系统复制文件到 HDFS。

• 下载文件

• `hdfs dfs -get hdfs_file_path local_directory_path`：将 HDFS 上的文件下载到本地目录。例如，`hdfs dfs -get /user/hadoop/hdfsfile.txt /home/hadoop`会把 HDFS 上的`hdfsfile.txt`文件下载到本地的`/home/hadoop`目录下。

• `hdfs dfs -copyToLocal hdfs_file_path local_directory_path`：和`-get`功能类似，也是从 HDFS 下载文件到本地文件系统。

• 删除文件

• `hdfs dfs -rm hdfs_file_path`：删除 HDFS 上的文件。例如，`hdfs dfs -rm /user/hadoop/hdfsfile.txt`会删除`hdfsfile.txt`文件。如果要删除目录，需要加上`-r`参数，如`hdfs dfs -rm -r /user/hadoop/hdfsdir`，表示递归删除`hdfsdir`目录及其内容。

• 查看文件内容

• `hdfs dfs -cat hdfs_file_path`：查看 HDFS 上文件的内容。例如，`hdfs dfs -cat /user/hadoop/hdfsfile.txt`会输出`hdfsfile.txt`文件的内容。如果文件内容较多，可以使用`-tail`或`-head`命令。`hdfs dfs -tail hdfs_file_path`会显示文件的最后部分（默认最后 1 KB），`hdfs dfs -head hdfs_file_path`会显示文件的开头部分（默认开头 1 KB）。

• 目录操作

• 创建目录

• `hdfs dfs -mkdir hdfs_directory_path`：创建 HDFS 目录。例如，`hdfs dfs -mkdir /user/hadoop/newdir`会在 HDFS 的`/user/hadoop`目录下创建一个名为`newdir`的目录。如果要一次性创建多级目录，可以加上`-p`参数，如`hdfs dfs -mkdir -p /user/hadoop/level1/level2`，这样即使`level1`目录不存在，也会自动创建`level1`和`level2`目录。

• 修改目录权限

• `hdfs dfs -chmod permission hdfs_directory_path`：修改 HDFS 目录的权限。权限格式和 Linux 类似，例如，`hdfs dfs -chmod 755 /user/hadoop/hdfsdir`会将`hdfsdir`目录的权限设置为所有者有读写执行权限（7），组用户有读执行权限（5），其他用户也有读执行权限（5）。

• `hdfs dfs -chown user:hdfs_directory_path`：修改 HDFS 目录的所有者。例如，`hdfs dfs -chown hadoopuser /user/hadoop/hdfsdir`会将`hdfsdir`目录的所有者修改为`hadoopuser`用户。

二、YARN（Yet Another Resource Negotiator）相关命令
• 查看 YARN 集群状态

• `yarn cluster -status`：查看 YARN 集群的状态信息，包括节点数量、资源使用情况等。

• 查看正在运行的应用程序

• `yarn application -list`：列出当前 YARN 集群上正在运行的所有应用程序。如果要查看特定用户的应用程序，可以加上`-appStates`参数，如`yarn application -list -appStates RUNNING`，只显示处于运行状态的应用程序。

• 杀死应用程序

• `yarn application -kill application_id`：通过应用程序 ID 杀死一个正在运行的应用程序。例如，`yarn application -kill application_1234567890`会终止 ID 为`application_1234567890`的应用程序。

三、Hadoop 集群启动和停止命令
• 启动 Hadoop 集群

• `start-dfs.sh`：启动 HDFS 相关的守护进程，包括 NameNode、DataNode 等。

• `start-yarn.sh`：启动 YARN 相关的守护进程，包括 ResourceManager、NodeManager 等。

• 停止 Hadoop 集群

• `stop-dfs.sh`：停止 HDFS 相关的守护进程。

• `stop-yarn.sh`：停止 YARN 相关的守护进程。

这些命令只是 Hadoop 集群操作的一部分，具体使用时还需要根据实际的集群配置和需求进行调整。
————————————————

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

原文链接：https://blog.youkuaiyun.com/2301_82251033/article/details/146912231