Hadoop- Hadoop运维小计

weixin_30764771

于 2017-11-15 17:27:00 发布

阅读量91

点赞数

CC 4.0 BY-SA版权

文章标签：大数据运维

原文链接：http://www.cnblogs.com/RzCong/p/7840026.html

本文介绍了如何在Hadoop集群中新增节点的过程。首先需要在主节点的配置文件中添加新节点的信息，接着在新节点上启动DataNode和服务进程。完成这些步骤后，可以在主节点上运行负载均衡工具并检查Hadoop的使用情况。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

如果是新添加一个节点，需要执行以下步骤：
首先，把新节点的 IP或主机名加入主节点（master）的 conf/slaves 文件。

然后登录新的从节点，执行以下命令：

$ cd Hadoop_path  

$ bin/hadoop-daemon.sh start datanode  

$ bin/hadoop-daemon.sh start tasktracker

然后就可以在master机器上运行balancer，执行负载均衡

 $bin/hadoop  balancer

查看hadoop使用情况

bin/hdfs dfsadmin  -report
或
sudo -u hdfs hdfs dfsadmin  -report

查看Hadoop的hdfs目录下面文件占用空间

bin/hdfs dfs -du -h  /
或
sudo -u hdfs hdfs dfs -du -h /

查看Hadoop的hdfs目录一共占用空间

bin/hdfs dfs -du  -h -s /datapath
或
sudo -u hdfs hdfs dfs -du -h -s /datapath

转载于:https://www.cnblogs.com/RzCong/p/7840026.html