安装二：hdfs的运行和YARN资源管理系统的配置和启动

最新推荐文章于 2024-11-26 17:24:13 发布

转载最新推荐文章于 2024-11-26 17:24:13 发布 · 343 阅读

文章标签：

#安装

HADOOP 专栏收录该内容

6 篇文章

订阅专栏

本文介绍了YARN作为Hadoop 2.0资源管理器的基本设计思想，并详细阐述了其组成部分ResourceManager和ApplicationMaster的功能。此外，还提供了配置示例及如何通过YARN运行WordCount程序的具体步骤。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

YARN 是 Hadoop 2.0中的资源管理系统，它的基本设计思想是将MRv1中的JobTracker拆分成了两个独立的服务：一个全局的资源管理器ResourceManager和每个应用程序特有的ApplicationMaster。

其中ResourceManager负责整个系统的资源管理和分配，而ApplicationMaster负责单个应用程序的管理。

hdfs的使用和管理

创建一个words.txt 文件并上传

  vi words.txt
 
  Hello World
 
  Hello Tom
 
  Hello Jack
 
  Hello Hadoop
 
  Bye   hadoop

将words.txt上传到hdfs的根目录

  /home/xupanpan/hadoop/hadoop/bin/hadoop fs -put /home/xupanpan/hadoop/word.txt /
 

1、配置etc/hadoop/mapred-site.xml：

   mv /home/xupanpan/hadoop/hadoop/etc/hadoop/mapred-site.xml.template /home/xupanpan/hadoop/hadoop/etc/hadoop/mapred-site.xml
  
   vim /home/xupanpan/hadoop/hadoop/etc/hadoop/mapred-site.xml

   <configuration>
  
   <!-- 通知框架MR使用YARN -->
  
   <property>
  
   <name>mapreduce.framework.name</name>
  
   <value>yarn</value>
  
   </property>
  
   </configuration>

2、配置etc/hadoop/yarn-site.xml:

  vim /home/xupanpan/hadoop/hadoop/etc/hadoop/yarn-site.xml
 

3、YARN的启动

1	/home/xupanpan/hadoop/hadoop/sbin/start-yarn.sh

http://192.168.20.225:8088/cluster

3、YARN的停止

  sbin/stop-yarn.sh
 

现在我们的hdfs和yarn都运行成功了，我们开始运行一个WordCount的MP程序来测试我们的单机模式集群是否可以正常工作。