Hadoop-完全分布式运行模式（二）

最新推荐文章于 2025-10-04 11:27:22 发布

原创最新推荐文章于 2025-10-04 11:27:22 发布 · 287 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop

大数据同时被 2 个专栏收录

9 篇文章

订阅专栏

Hadoop

6 篇文章

订阅专栏

本文详细介绍了Hadoop集群的基本操作，包括如何上传小文件和大文件到集群，以及如何查看文件的存储位置。同时，文章还总结了集群的启动和停止方式，包括各个服务组件的逐一启动/停止和各个模块的整体启动/停止。

集群基本测试
集群启动 / 停止方式总结

集群基本测试

上传小文件到集群

[root@hadoop02 hadoop-2.7.2]# hdfs dfs -put wcinput/wc.input /

上传大文件到集群

[root@hadoop02 hadoop-2.7.2]# hdfs dfs -put /opt/software/hadoop-2.7.2.tar.gz /

查看文件存放的位置

[root@hadoop02 subdir0]# pwd
/opt/module/hadoop-2.7.2/data/tmp/dfs/data/current/BP-56315598-123.56.156.127-1591685988349/current/finalized/subdir0/subdir0
[root@hadoop02 subdir0]# ll
total 194552
-rw-r--r-- 1 root root        79 Jun  9 22:15 blk_1073741825
-rw-r--r-- 1 root root        11 Jun  9 22:15 blk_1073741825_1001.meta
-rw-r--r-- 1 root root 134217728 Jun  9 22:17 blk_1073741826
-rw-r--r-- 1 root root   1048583 Jun  9 22:17 blk_1073741826_1002.meta
-rw-r--r-- 1 root root  63439959 Jun  9 22:17 blk_1073741827
-rw-r--r-- 1 root root    495635 Jun  9 22:17 blk_1073741827_1003.meta

集群启动 / 停止方式总结

各个服务组件逐一启动 / 停止

# 分别启动 / 停止HDFS组件
hadoop-daemon.sh  start / stop  namenode / datanode / secondarynamenode

# 分别启动 / 停止YARN
yarn-daemon.sh  start / stop  resourcemanager / nodemanager

各个模块分开启动 / 停止（前提是 ssh 要配置好）常用

# 整体启动 / 停止HDFS
start-dfs.sh / stop-dfs.sh

# 整体启动 / 停止YARN
start-yarn.sh / stop-yarn.sh

如果您觉得这篇文章对您有帮助，欢迎为我的 github项目点一个⭐