hadoop集群的常用命令

启动 Hadoop: start-dfs.sh start-yarn.sh 这些命令会分别启动 Hadoop 的 DFS 和 YARN。

查看 Hadoop 目录: hdfs dfs -ls -R / 该命令会递归地列出 HDFS 根目录下的所有文件和目录。

创建目录: hdfs dfs -mkdir /example_dir 在 HDFS 中创建一个新目录。

上传文件: hdfs dfs -put local_path hdfs_path 将本地文件上传到 HDFS。

下载文件: hdfs dfs -get hdfs_path local_path 从 HDFS 下载文件到本地。

查看文件内容: hdfs dfs -cat hdfs_file_path 查看 HDFS 中某个文件的内容。

删除文件: hdfs dfs -rm hdfs_file_path 删除 HDFS 中的文件。

退出安全模式: hdfs dfsadmin -safemode leave 当 Hadoop 集群启动时，会自动进入安全模式，在这个模式下，文件系统不允许有任何修改。使用此命令可以退出安全模式。

高级命令

修改文件副本数: hdfs dfs -setrep -w replication_number hdfs_path 修改 HDFS 中文件的副本数量。

合并下载: hdfs dfs -getmerge hdfs_source_path local_destination_file 将 HDFS 中的多个文件合并后下载到本地。

查看帮助: hdfs dfs -help command 查看特定 Hadoop 命令的帮助信息。

文件权限管理: hdfs dfs -chmod permissions hdfs_path hdfs dfs -chown owner:group hdfs_path 修改 HDFS 文件的权限和所有者。

这些命令是与 HDFS 进行交互的基础，涵盖了文件操作、系统管理、权限控制等多个方面。通过这些命令，用户可以有效地管理和操作存储在 Hadoop 集群中的数据