Yarn伪分布式部署

最新推荐文章于 2024-04-20 19:12:09 发布
最新推荐文章于 2024-04-20 19:12:09 发布
阅读量349 收藏 1
点赞数
CC 4.0 BY-SA版权
分类专栏： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/shell33168/article/details/87545698
本文介绍了如何在伪分布式环境中部署Yarn，包括配置mapred-site.xml和yarn-site.xml，以及部署后的ResourceManager和NodeManager角色。此外，还提到了日志文件的位置和查看日志的三种方法。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

MapReduce用来计算的，是jar包提交到Yarn上的，本身不需要部署；

Yarn是用来资源和作业调度的，需要部署

MapReduce on Yarn

 部署过程：

1.  配置mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

2.配置yarn-site.xml

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

ResourceManager daemon  老大 资源管理者
NodeManager daemon  

最低0.47元/天 解锁文章

200万优质内容无限畅学
伪分布式调用hdfs运行yarn
weixin_45992021的博客
03-13 1万+
伪分布式调用hdfs运行yarn伪分布式调用hdfs运行yarn具体步骤如下： 伪分布式调用hdfs运行yarn 具体步骤如下： 启动SecureCRSecureFX 启动namenode和DataNode bin/hdfs dfs -mkdir -p /user/dev1/input：在hadoop集群里面创建一个文件 （mkdir：在Linux里面创建一个文件） 打开Applications下的浏览器，输入如下网址 打开网址后打开Overview>Browse the file syste
Hadoop 伪分布式集群环境搭建指南（HDFS & YARN 篇）
最新发布
2501_90846564的博客
06-10 577
bash复制下载# 编辑环境配置文件# 设置Java路径（取消注释并修改）
hdfs伪分布式搭建，伪分布式模式下yarn的配置及测验
hwf的博客
10-09 654
1.安装前提条件 （1）首先安装jdk，最好安装1.7及1.7以上版本，并且安装jdk的环境变量 vi ~/.bashrc export JAVA_HOME=/usr/local/software/jdk1.8.0_141 export PATH=$JAVA_HOME/bin:$PATH（2）检查ssh和sshd是否安装，如果没有安装， ubuntu下面安装ssh和......
YARN伪分布式集群搭建
sparky的博客
07-22 1137
文章目录任务1：YARN 集群主要配置文件讲解1.1 配置环境变量yarn-env.sh1.2 配置计算框架mapred-site.xml1.3 配置YARN系统yarn-site.xml任务2：YARN 集群测试2.1 启动和关闭 YARN 集群2.2 查看进程启动情况2.3 通过UI查看 YARN 运行状态 任务1：YARN 集群主要配置文件讲解 1.1 配置环境变量yarn-env.sh 该文件是 YARN 框架运行环境的配置，同样需要修改 JDK 所在位置。我们可以使用如下命令打开“yarn-en
Hadoop2-YARN 伪分布模式搭建
SpringsSpace
01-18 458
转载请标明出处SpringsSpace: http://springsfeng.iteye.com   Hadoop2-YARN 伪分布模式搭建   网络上关于搭建YARN开发环境的文章也不少了，在我搭建的过程中进行了参考，发现好多都有 问题，特别时针对如何在Eclipse中运行WordCount没有详细的介绍，本篇文章是我自己尝试搭 建YARN伪分布模式开发环境的一个总结，若...
大数据学习之Yarn伪分布式部署
louiezhang1215的博客
10-16 227
上篇文章记录了hdfs部署，那么下来我们看看Yarn的部署 [hadoop@hadoop001 hadoop-2.6.0-cdh5.7.0]$ cd etc/hadoop [hadoop@hadoop001 hadoop]$ ll total 152 -rw-r--r--. 1 hadoop hadoop 4436 Mar 24 2016 capacity-scheduler.xml -rw-...
YARN伪分布式安装
实践求真知
12-15 486
一 修改core-site.xml etc/hadoop/core-site.xml fs.defaultFS配置NameNode的URI [root@master hadoop]# cat core-site.xml fs.defaultFS hdfs://localhost:9000 二 修改hdfs-site.xml etc/hadoo
yarn伪分布式
WangaWen1229的博客
04-11 219
yarn配置 单一节点至多启动一个节点 1.vim yarn-env.sh export JAVA_HOME=/opt/module/jdk1.8.0_221 2.vim yarn-site.xml <property> <name>yarn.nodemanager.aux-services</name> ...
hadoop伪分布式、yarn模式搭建 模拟生产
haoren1994的博客
12-01 2882
一、介绍 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high thr...
2.3 YARN伪分布式集群搭建
c_lanxiaofang的博客
07-04 840
重点掌握 YARN 集群的相关配置 学会启动和关闭 YARN 集群的两种方式 能够使用 jps 命令查看进程的启动情况 能够通过 UI 查看 YARN 集群的运行状态 任务清单 任务1：YARN 集群主要配置文件讲解 任务2：YARN 集群测试 任务步骤 任务1：YARN 集群主要配置文件讲解 1.1 配置环境变量yarn-env.sh 　　该文件是 YARN 框架运行环境的配置，同样需要修改 JDK 所在位置。我们可以使用如下命令打开“yarn-env.sh”文件： vim /root
Yarn伪分布式部署及MapReduce经典案例（一）
zhikanjiani的博客
06-04 837
HDFS伪分布式三大进程： Namenode NN Datanode DN SecondaryNamenode SNN 端口号50070 1.1 初识Hadoop bin目录：命令文件件 ** sbin目录：启动和停止hadoop组件 ** etc:配置参数文件 ** lib:jar包 share:共享jar包库 启动过程中遇到了一个问题就是没有设置固定ip...
step8. hadoop3.1.1伪分布式配置补充：yarn（转）
weixin_46964107的博客
03-30 1037
hadoop3.1.1伪分布配置yarn
hadoop - hadoop2.6 伪分布式 - 全局配置 和 启用 YARN 进行任务调度与资源管理
原小明
01-21 2098
1.全局配置                上面的学习中，我们都是先进入到 /usr/local/hadoop 目录中，再执行 sbin/hadoop，实际上等同于运行/usr/local/hadoop/sbin/hadoop。我们可以将 Hadoop 命令的相关目录加入到 PATH 环境变量中，这样就可以直接通过 start-dfs.sh 开启 Hadoop，也可以直接通过 hdfs 访问 H
hadoop on yarn 入门系列1-伪分布式环境搭建并运行wordcount
延彬的专栏
11-24 1229
作为学习使用，直接使用伪分布式 搭建学习环境，下载hadoop2.6.0以及源码 1 配置文件： 1.1 hdfs-site.xml<configuration> <property> <name>dfs.replication</name> <value>1</value> <!--只有一台机器，所以备份也是1--> </property>
【大数据入门实践】Yarn伪分布式部署
梦想小镇
03-09 134
1:Yarn 资源和作业调度 2: [hadoop@localhost hadoop]$ cp mapred-site.xml.template mapred-site.xml &lt;configuration&gt; &lt;property&gt; &lt;name&gt;mapreduce.framework.name&lt;/name&gt; ...
五篇博文讲透大数据伪分布式环境搭建——YARN 伪分布式集群搭建
08-02 516
3.YARN 伪分布式集群搭建 操作一览 掌握 YARN 集群的相关配置 启动和关闭 YARN 集群的两种方式 使用 jps 命令查看进程的启动情况 通过 UI 查看 YARN 集群的运行状态 操作清单 操作 1：YARN 集群主要配置文件讲解 操作 2：YARN 集群测试 操作步骤 1.YARN 集群主要配置文件讲解 注：所有操作均依附于上3篇博文完成，如果有疑问请回阅其他博文 1.1 配置环境变量 yarn-env.sh 该文件是 YARN 框架运行环境的配置，同样需要修改 JDK 所在位置。我
Hadoop伪分布式运行及YARN的初始化
jaky0306的专栏
05-24 1384
上篇文章Hadoop基本环境搭建http://blog.youkuaiyun.com/jaky0306/article/details/72676904 的末尾，我们配置了Hadoop的伪分布式模式 本次我们来运行下伪分布式模式的例子。 伪分布式模式读取的是HDFS上的数据。其实它跟单机模式的操作很相似的，只不过，单机模式操作的是本地文件，伪分布模式操作的是HDFS上的数据 Hado
hadoop伪分布式安装
YYY7769的博客
04-20 2589
在这个文件最后换行添加如下三行：vi /etc/profile # JDK export JAVA_HOME=/opt/jdk export PATH=$JAVA_HOME/bin:$PATH在这个文件最后换行添加如下三行：vi /etc/profile#HADOOP export HADOOP_HOME=/opt/hadoop export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin进行免密登录需要安装ssh如果有openssh-clients、openss
hdfs伪分布式部署
05-08
### HDFS 伪分布式部署配置教程 #### 1. 创建 Hadoop 用户 为了保持系统干净并避免权限冲突，建议为 Hadoop 创建一个专用用户。以下是具体操作步骤： ```bash sudo useradd -m hadoop -s /bin/bash sudo passwd hadoop sudo adduser hadoop sudo ``` 完成上述命令后，需切换至 `hadoop` 用户以继续后续操作[^4]。 #### 2. 更新 Apt 和安装 SSH 确保系统的 APT 软件包管理器是最新的，并安装必要的工具如 SSH Server： ```bash sudo apt-get update sudo apt-get install openssh-server ssh localhost ``` 在首次连接时，输入 `yes` 接受密钥交换，并提供密码完成登录。随后可通过以下命令实现无密码登录配置： ```bash ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys chmod 0600 ~/.ssh/authorized_keys ``` 这一步骤允许在同一台机器上模拟分布式环境中的节点通信[^4]。 #### 3. 安装 Java 环境 Hadoop 需要依赖于 Java 环境才能运行。推荐安装 OpenJDK 或 Oracle JDK 版本之一。例如，使用以下命令安装 OpenJDK： ```bash sudo apt-get install openjdk-8-jdk java -version ``` 确认已正确安装 Java 后，还需设置 `JAVA_HOME` 环境变量以便 Hadoop 正常识别 Java 路径。编辑 `.bashrc` 文件并将以下内容追加进去： ```bash export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 export PATH=$PATH:$JAVA_HOME/bin source ~/.bashrc ``` #### 4. 下载与解压 Hadoop 前往 Apache 官方网站或其他可信源下载最新稳定版 Hadoop 压缩包。假定将其放置于 `/tmp` 目录，则执行如下指令完成解压及重命名过程： ```bash tar -zvxf /tmp/hadoop-*.tar.gz -C /usr/local/ mv /usr/local/hadoop-* /usr/local/hadoop chown -R hadoop:hadoop /usr/local/hadoop ``` 至此，已完成基本准备工作[^3]。 #### 5. 编辑核心配置文件 进入 Hadoop 的配置目录 (`/usr/local/hadoop/etc/hadoop`) 对几个重要 XML 文件作出调整。 ##### (a) **core-site.xml** 设定 NameNode 地址及其存储路径参数： ```xml <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/app/hadoop/tmp</value> </property> </configuration> ``` ##### (b) **hdfs-site.xml** 规定副本数量以及其他必要选项： ```xml <configuration> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration> ``` ##### (c) **mapred-site.xml** 此文档通常不存在，默认名为模板形式存在即 `mapred-site.xml.template` ，复制一份再修改之： ```bash cp mapred-site.xml.template mapred-site.xml ``` 接着填入框架类型字段值设为 YARN : ```xml <configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration> ``` ##### (d) **yarn-site.xml** 最后针对资源调度部分做相应改动： ```xml <configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> </configuration> ``` #### 6. 初始化 HDFS 文件系统 切换回到 hadoop 用户身份之后，利用下面这条语句初始化磁盘结构布局： ```bash /usr/local/hadoop/bin/hdfs namenode -format ``` #### 7. 启动服务 依次开启各个组件的服务程序： ```bash start-dfs.sh start-yarn.sh mr-jobhistory-daemon.sh start historyserver ``` 此时可以通过浏览器访问两个 URL 页面来观察集群状况： - Namenode WebUI: http://localhost:50070/ - ResourceManager WebUI: http://localhost:8088/ 另外借助 jps 工具也可以直观看到正在运作的关键线程列表，像 DataNode, NodeManager, SecondaryNameNode 等等都应该可见[^1]。 --- ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值