Hadoop【环境搭建 02】【hadoop-3.1.3 单机版YARN】（配置、启动及验证）

已于 2024-01-25 19:22:05 修改
阅读量652 收藏 1
点赞数 1
CC 4.0 BY-SA版权
分类专栏： .... ... .. . Hadoop 文章标签： hadoop linux 大数据
于 2021-07-28 15:51:53 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/yuanzhengme/article/details/119180598
本文详细介绍了如何在Linux环境下搭建Hadoop 3.1.3的单机版YARN，包括修改mapred-site.xml和yarn-site.xml配置，调整启动和停止shell脚本，以及启动服务后的验证步骤，如通过jps命令和Web UI (8088端口)检查NodeManager和ResourceManager是否正常运行。

1. 修改配置

进入 ${HADOOP_HOME}/etc/hadoop/ 目录下，修改以下配置：

  1. mapred-site.xml
[root@tcloud ~]# vim /usr/local/hadoop-3.1.3/etc/hadoop/mapred-site.xml

<configuration>
  <property>
了解本专栏 订阅专栏 解锁全文 超级会员免费看
Hadoop：单节点配置YARN
m0_37559973的博客
11-06 919
Hadoop YARN（Yet Another Resource Negotiator）是Hadoop的资源管理层，负责管理和分配集群中应用程序的资源。
hadoop3.1.3集群搭建(ha+yarn)
lxhjava的博客
02-15 1919
当前环境： centos6.5,jdk8 准备工作： 1.服务器之间免密登录 $ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa $ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys $ chmod 0600 ~/.ssh/authorized_keys 2.服务器之间时间同步 3.安装zook...
Hadoop【部署 02】hadoop-3.1.3 单机版YARN（配置、启动停止shell脚本修改及服务验证）
Java与大数据相关实践内容分享！
06-22 971
Hadoop【部署 02】hadoop-3.1.3 单机版YARN（配置、启动停止shell脚本修改及服务验证）
单机hadoop-Yarn部署
qq_43388040的博客
09-30 1137
Yarn的部署: Hadoop2.0新增了Yarn，Yarn的引用主要有两个方面的改变: 1.增强了NameNode的水平扩展能力和高可用性。 2.MapReduce将Hadoop1.0中的JobTracker中的资源管理和任务生命周期管理拆分成两个独立的组件，资源管理对应ResourceManager，任务生命周期管理对应ApplicationMaster。 部署Yarn： 应官方要求 单节点配置：       你可以通过设置一些参数
hadoop单机部署伪分布式系列3:YARN
亚信大数据平台LU
06-16 1094
 安装服务 单机版Yarn：ResourceManager、NodeManager 环境准备： 节点：10.1.253.178(hostname:cdh1) 节点已经安装完成HDFS服务，参见《单机部署伪分布式1:HDFS》 安装包： hadoop-2.0.0-cdh4.2.1.tar.gz（使用已经安装完成后的HDFS对应的包，Yarn与HDFS集成在一个包
005 Hadoop简单介绍 Hadoop单机版安装及应用 hdfs相关内容介绍 hdfs文件读写流程 Yarn概念的讲解 Yarn的流程介绍
C_time的博客
05-20 261
官网的内容http://hadoop.apache.org/ Welcome to Apache™ Hadoop®! What Is Apache Hadoop? The Apache™ Hadoop® project develops open-source software for reliable, scalable, distributed computing. 灵活的 可扩展的 分布式...
精选资源
大数据 hadoop-3.1.3 linux 安装包
06-25
总之，Hadoop-3.1.3在Linux上的安装和配置是一个系统性的过程，涵盖了Java环境的准备、Hadoop配置文件的修改、服务的启动和测试等多个环节。这个过程不仅帮助我们理解Hadoop的基本原理，也为实际的大数据处理任务...
hadoop-3.1.3-src.tar.gz
04-09
这个名为“hadoop-3.1.3-src.tar.gz”的压缩包包含了Hadoop 3.1.3版本的源代码，对于开发者来说，这是一个宝贵的资源，可以深入理解Hadoop的内部工作原理并进行定制化开发。 Hadoop的核心组件主要包括两个：HDFS...
hadoop-3.1.3.tar jdk-8u212-linux-x64.tar 以及hadoop3.1.3配置文件(已修改好)
07-22
4. 修改Hadoop配置文件：根据提供的预配置文件，可能包括`core-site.xml`（配置HDFS的基本属性）、`hdfs-site.xml`（定义HDFS的副本数和存储位置）、`yarn-site.xml`（配置YARN以管理集群资源）和`mapred-site.xml`...
精选资源
hadoop-3.1.3.tar.gz
12-06
总结，Hadoop 3.1.3在CentOS7上的安装与配置是一个涉及多步骤的过程，包括系统准备、环境配置、参数设定、服务启动和验证。理解并熟练掌握这些步骤，是成为Hadoop使用者的基础，也是进一步探索大数据处理的关键。...
yarn-site.xml
03-03
本资源基于hadoop3.1.3,部署方式为伪分布部署,配置方式按照的是官网文档配置的,亲测有效! 配置完登陆0.0.0.0:8080(基于伪分布式)
Spark基于yarn做资源管理的单机模式搭建
weixin_37548740的博客
04-02 625
Spark是一个分布式计算框架，将其和hadoop的yarn结合可以很好的将其和hadoop结合 起来来代替MapReduce来做分布式计算 基于上一节单机hadoop的搭建继续按照Spark export SCALA_HOME=/liu/scala/scala-2.10.4 export PATH=$PATH:$SCALA_...
Yarn常用命令
南洲.的博客
08-09 691
1、yarn application查看任务 yarn application -list 2021-08-09 16:08:29,196 INFO client.RMProxy: Connecting to ResourceManager at hadoop103/192.168.10.103:8032 Total number of applications (application-types: [], states: [SUBMITTED, ACCEPTED, RUNNING] and tags:
hadoop3.1集成yarn ha
weixin_30296405的博客
12-26 248
1.角色分配 2.配置 cd /opt/hadoop-3.1.1/etc/hadoop 修改如下配置： 2.1配置mapred-site.xml <configuration> <!-- 指定mr框架为yarn方式 --> <property> <name>mapreduce.fr...
YARN 如何验证正常执行
weixin_30699957的博客
08-05 199
YARN 如何验证正常执行 在 Hadoop YARN（Yet Another Resource Negotiator）环境中，确保作业正常执行是至关重要的。为了验证YARN作业的正常执行，我们需要关注多个方面，包括资源的合理分配、作业的监控、以及最终的作业结果。本文将探讨如何通过代码和监控工具来验证YARN作业的执行情况...
Hadoop3 yarn无法启动 （resourceManager/nodeManager）
闲鱼的博客
10-15 2197
jps上找不到 resourceManager 和 nodeManger的进程， 查询日志发现以下错误信息 Error injecting constructor, java.lang.NoClassDefFoundError: javax/activation/DataSource at org.apache.hadoop.yarn.server.resourcemanager.webapp...
【汇智学堂】-Hadoop分布式集群安装验证-3（检查YARN）
weixin_39593940的博客
08-19 433
在HadoopMaster上启动Firefox浏览器，输入http://master:18088/,检查YARN是否正常，如下图则为正常。
yarn的启动
热门推荐
leibniz_zhang的博客
05-18 1万+
yarn启动前需要配置两个文件：mapred-site.xml 和 yarn-site.xmlmapred-site.xml：（master配置即可） &lt;property&gt; &lt;name&gt;mapreduce.framework.name&lt;/name&gt; &lt;value&gt;yarn&lt;/value&gt; &lt;/property...
hadoop服务集群权限认证
weixin_30920091的博客
08-07 250
eclipse-plugin或hive提交任务遇到类似这个错误：org.apache.hadoop.security.AccessControlException:Permission denied: user=CC, access=WRITE, inode="wordcount":hadoop:supergroup:rwxr-xr-x 解决： 1、使用“./bin/hadoopdfs -...
/opt/module/jdk1.8.0_212/bin/java -javaagent:/opt/idea-IC-212.5457.46/lib/idea_rt.jar=38803:/opt/idea-IC-212.5457.46/bin -Dfile.encoding=UTF-8 -classpath /opt/module/jdk1.8.0_212/jre/lib/charsets.jar:/opt/module/jdk1.8.0_212/jre/lib/deploy.jar:/opt/module/jdk1.8.0_212/jre/lib/ext/cldrdata.jar:/opt/module/jdk1.8.0_212/jre/lib/ext/dnsns.jar:/opt/module/jdk1.8.0_212/jre/lib/ext/jaccess.jar:/opt/module/jdk1.8.0_212/jre/lib/ext/jfxrt.jar:/opt/module/jdk1.8.0_212/jre/lib/ext/localedata.jar:/opt/module/jdk1.8.0_212/jre/lib/ext/nashorn.jar:/opt/module/jdk1.8.0_212/jre/lib/ext/sunec.jar:/opt/module/jdk1.8.0_212/jre/lib/ext/sunjce_provider.jar:/opt/module/jdk1.8.0_212/jre/lib/ext/sunpkcs11.jar:/opt/module/jdk1.8.0_212/jre/lib/ext/zipfs.jar:/opt/module/jdk1.8.0_212/jre/lib/javaws.jar:/opt/module/jdk1.8.0_212/jre/lib/jce.jar:/opt/module/jdk1.8.0_212/jre/lib/jfr.jar:/opt/module/jdk1.8.0_212/jre/lib/jfxswt.jar:/opt/module/jdk1.8.0_212/jre/lib/jsse.jar:/opt/module/jdk1.8.0_212/jre/lib/management-agent.jar:/opt/module/jdk1.8.0_212/jre/lib/plugin.jar:/opt/module/jdk1.8.0_212/jre/lib/resources.jar:/opt/module/jdk1.8.0_212/jre/lib/rt.jar:/home/atguigu/IdeaProjects/myapp/target/classes:/opt/module/hadoop-3.1.3/share/hadoop/yarn/hadoop-yarn-api-3.1.3.jar:/opt/module/hadoop-3.1.3/share/hadoop/yarn/hadoop-yarn-client-3.1.3.jar:/opt/module/hadoop-3.1.3/share/hadoop/yarn/hadoop-yarn-common-3.1.3.jar:/opt/module/hadoop-3.1.3/share/hadoop/yarn/hadoop-yarn-registry-3.1.3.jar:/opt/module/hadoop-3.1.3/share/hadoop/yarn/hadoop-yarn-server-tests-3.1.3.jar:/opt/module/hadoop-3.1.3/share/hadoop/yarn/hadoop-yarn-services-api-3.1.3.jar:/opt/module/hadoop-3.1.3/share/hadoop/yarn/hadoop-yarn-server-common-3.1.3.jar:/opt/module/hadoop-3.1.3/share/hadoop/yarn/hadoop-yarn-server-router-3.1.3.jar:/opt/module/hadoop-3.1.3/share/hadoop/yarn/hadoop-yarn-services-core-3.1.3.jar:/opt/module/hadoop-3.1.3/share/hadoop/yarn/hadoop-yarn-server-web-proxy-3.1.3.jar:/opt/module/hadoop-3.1.3/share/hadoop/yarn/hadoop-yarn-server-nodemanager-3.1.3.jar:/opt/module/hadoop-3.1.3/share/hadoop/yarn/hadoop-yarn-server-resourcemanager-3.1.3.jar:/opt/module/hadoop-3.1.3/share/hadoop/yarn/hadoop-yarn-server-sharedcachemanager-3.1.3.jar:/opt/module/hadoop-3.1.3/share/hadoop/yarn/hadoop-yarn-applications-distributedshell-3.1.3.jar:/opt/module/hadoop-3.1.3/share/hadoop/yarn/hadoop-yarn-server-timeline-pluginstorage-3.1.3.jar:/opt/module/hadoop-3.1.3/share/hadoop/yarn/hadoop-yarn-server-applicationhistoryservice-3.1.3.jar:/opt/module/hadoop-3.1.3/share/hadoop/yarn/hadoop-yarn-applications-unmanaged-am-launcher-3.1.3.jar:/opt/module/hadoop-3.1.3/share/hadoop/common/hadoop-kms-3.1.3.jar:/opt/module/hadoop-3.1.3/share/hadoop/common/hadoop-nfs-3.1.3.jar:/opt/module/hadoop-3.1.3/share/hadoop/common/hadoop-common-3.1.3.jar:/opt/module/hadoop-3.1.3/share/hadoop/common/hadoop-common-3.1.3-tests.jar:/opt/module/hadoop-3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar:/opt/module/hadoop-3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-client-hs-3.1.3.jar:/opt/module/hadoop-3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-client-app-3.1.3.jar:/opt/module/hadoop-3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-client-core-3.1.3.jar:/opt/module/hadoop-3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-client-common-3.1.3.jar:/opt/module/hadoop-3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-client-shuffle-3.1.3.jar:/opt/module/hadoop-3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-client-uploader-3.1.3.jar:/opt/module/hadoop-3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-3.1.3.jar:/opt/module/hadoop-3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-client-hs-plugins-3.1.3.jar:/opt/module/hadoop-3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-client-nativetask-3.1.3.jar:/opt/module/hadoop-3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-3.1.3-tests.jar com.atguigu.mapreduce.wordcount.WordCountDriver Exception in thread "main" java.lang.NoClassDefFoundError: com/ctc/wstx/io/InputBootstrapper at com.atguigu.mapreduce.wordcount.WordCountDriver.main(WordCountDriver.java:14) Caused by: java.lang.ClassNotFoundException: com.ctc.wstx.io.InputBootstrapper at java.net.URLClassLoader.findClass(URLClassLoader.java:382) at java.lang.ClassLoader.loadClass(ClassLoader.java:424) at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:349) at java.lang.ClassLoader.loadClass(ClassLoader.java:357) ... 1 more
最新发布
06-18
验证运行时类路径 即使在编译时所有依赖都可用，但如果运行时类路径未正确配置，仍然会出现 `NoClassDefFoundError` 错误。在本地运行 Java 程序时，可以通过 `-cp` 参数指定类路径。例如： ```bash java -cp ...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

@寻觅远方

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值