Yarn 2.2.0 未解决问题记录

最新推荐文章于 2023-12-15 23:25:38 发布

最新推荐文章于 2023-12-15 23:25:38 发布 · 116 阅读

本文记录了一次尝试配置YARN Web Proxy过程中遇到的问题及现象。作者试图通过配置yarn.web-proxy.address来启用Proxy服务，但在启动后访问指定URL时遇到了500错误。

始终未找到具体的作业运行界面, 看到屏幕输出里有一句：

INFO mapreduce.Job: The url to track the job: http://localhost:11000/proxy/application_1387789147154_0001/

就想把proxy配起来,结果在yarn-site.xml中配了yarn.web-proxy.address后，执行./yarn-daemon.sh start proxyserver

发现起是起来了，但是变成这样:

http://localhost:11000/proxy/地址一敲就报500错误，无语了都。。。

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

hfcloudeagle

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

[Spark版本升级]-- spark-2.2.0发行说明

欢迎来到我的博客，一起探索代码里的世界！

07-18

6959

Spark-2.2.0版本发行时间：2017-7-11 一、Jira说明： https://issues.apache.org/jira/secure/ReleaseNote.jspa?projectId=12315420&version=12338275 子任务 [ SPARK-1267 ] - 添加PySpark的pip安装程序 [ SPARK-3249 ] - ...

大数据学习笔记-Yarn（二）

zhang_232的专栏

02-19

1140

本文主要学习了Yarn WebUI服务、YARN操作维护命令、YARN资源管理与隔离、YARN资源调度器Scheduler、YARN核心配置参数等内容

参与评论您还未登录，请先登录后发表或查看评论

在yarn的web原生界面上，点击ApplicationMaster无法看到SparkWebUi界面的问题解决

爱折腾的小土豆的博客

07-02

889

Yarn web proxy是YARN的一部分。默认情况下，它将作为资源管理器（RM）的一部分运行，但可以配置为以独立模式运行。代理的原因是为了缓解RM访问请求压力，也可以减少通过YARN进行基于网络的攻击的可能性。

十六、YARN和MapReduce配置

2301_79149013的博客

12-15

827

已经配置好Hadoop集群。配置内容：（2）修改mapred-site.xml配置文件 yarn （1）修改yarn-env.sh文件（2）修改yarn-site.xml文件分发配置文件（2）执行结果展示、打开本地浏览器，输入node1:8088，即可打开本地YARN的Web-UI页面。

7.日常问题整理[2022/6/22]重启yarn服务报错no ResourceManager to stop

weixin_46876034的博客

06-22

665

重启yarn服务报错no ResourceManager to stop，百思不得其解，找了很多方法，最终解决了这个问题首先我在关闭yarn服务时候，出现如下代码starting resourcemanager, logging to /opt/modules/hadoop-2.5.0-cdh5.3.6/logs/ yarn-admin-resourcemanager-hadoop-senior02.itguigu.com.out /opt/modules/hadoop-2.5.0-cdh5.3.6/sbi

黑马大数据学习笔记3-MapReduce配置和YARN部署以及基本命令

weixin_45735391的博客

07-30

5684

MapReduce配置和YARN部署以及基本命令

Hadoop 2.2.0 (YARN)搭建笔记

热门推荐

codepeak的专栏

10-27

1万+

最近工作需要，摸索着搭建了Hadoop 2.2.0集群，中间遇到了一些问题，在此记录，希望对需要的同学有所帮助。 1. 系统环境查看系统版本： uname -a Linux ** 2.6.32_1-7-0-0 #1 SMP *** x86_64 x86_64 x86_64 GNU/Linux 查看gcc版本： gcc --version gcc (GCC) 3.

解决Hadoop 2.2.0错误：修复特定jar包

- **文档记录**：详细记录每次修改的原因和内容，便于问题追踪和未来的维护。综上所述，修改Hadoop的jar包是一个需要深入了解Hadoop架构和源代码的过程，并且要谨慎处理，以防破坏集群的稳定性和可用性。处理好每...

spark-2.2.0源码

11-26

通过阅读和分析Spark 2.2.0的源码，开发者不仅可以深入理解Spark的工作原理，还能学习到如何设计和实现大规模分布式系统，这对于提升大数据处理技能和解决实际问题有着极大的帮助。同时，这也是一个极好的学习分布式...

精选资源

基于cdh6.3.2 apache-atlas-2.2.0，完整编译打包

02-02

总结来说，Apache Atlas 2.2.0在CDH 6.3.2中的应用，为大数据环境提供了全面的元数据管理和治理解决方案，有助于企业实现数据治理目标，提升数据质量和安全性。对于IT专业人士来说，理解和掌握Apache Atlas的使用是...

解决spark on yarn模式时，在yarn的web界面上点击ApplicationMaster无法看到SparkWebUi界面

join_null的博客

11-23

2968

1.需要在hadoop集群的所有节点yarn-site.xml中加入如下配置 <property> <name>yarn.web-proxy.address</name> <value>master01:8089</value> </property> 在指定的master01节点启动web-proxy服务：./sbin/yarn-daemon.sh start proxyserver 2.重启所有节点.

【大数据】yarn proxyserver 和 historyserver 讲解

匠人精神，持之以恒！

05-09

992

Web应用程序代理是YARN的一部分。默认情况下，它将作为资源管理器（RM）的一部分运行，但可以配置为以独立模式运行。代理的原因是为了减少通过YARN进行基于网络的攻击的可能性。在YARN中，应用主机（AM）有责任提供web UI并将该链接发送到RM。这引发了许多潜在的问题。RM以受信任用户的身份运行，访问该网址的人会将其及其提供给他们的链接视为受信任，而实际上AM是以不受信任用户身份运行的，并且它提供给RM的链接可能指向任何恶意或其他内容。

大数据技术之Hadoop：MapReduce与Yarn概述（六）

路漫漫其修远兮，吾将上下而求索

09-08

1463

那么Yarn作为分布式资源调度组件，它具体有啥作用呢？换句话说什么是资源调度？我们为什么需要资源调度？服务器会运行多个程序，每个程序对资源（CPU内存等）的使用都不同程序没有节省的概念，有多少就会用多少。所以，为了提高资源利用率，进行调度就非常有必要了。YARN管控整个集群的资源进行调度，那么应用程序在运行时，就是在YARN的监管（管理）下去运行的。这就像：全部资源都是公司（YARN）的，由公司分配给个人（具体的程序）去使用。比如，一个具体的MapReduce程序。

YARN学习总结-第九节-YARN-Web-App-Proxy

qq_20995587的博客

08-27

3279

YARN-Web-App-Proxy Web Application Proxy 是YARN的一部分，也可以配置单独运行。这个组件出现的原意是为了降低基于web的攻击。 yarn.web-proxy-address: yarn.web-proxy-keytab:如果不是以RM的一部分提供，则需要配置。 yarn.web-proxy-principal:如果以RM的一部分提供，配置kerbe...

yarn spark 环境配置

Mrknowledge

11-13

1446

1、在yarn-site.xml中配置yarn.web-proxy.address的端口，但是实际上点击ApplicationMaster没有反应 spark 环境配置" title="yarn spark 环境配置" style="margin:0px; padding:0px; border:0px; list-style:none"> 需要执行如下命令，对应的参数

Yarn上的几个问题整理

weixin_30480583的博客

02-23

216

原文链接 http://xiguada.org/yarn_some_question/‎ 1. NodeManager是如何Kill掉Container的呢？答，在DefaultContainerExecutor中， a. 使用命令行kill一个app后，ContainerLaunch中的handler中会处理两种事件(LAUNCH_CONTAINER, CLEANUP_CON...

CDH高可用hadoop集群性能配置

aet62619251的博客

09-04

639

1、HDFS的高可用配置 dfs.namenode.edits.dir (NameNode 编辑目录) : 写入 NameNode 编辑的本地文件系统上的目录。未指定将存放在namenode数据目录中。 dfs.journalnode.edits.dir (JournalNode 编辑目录):用于存储 NameNode 编辑的本地文件系统目录。journalnode所在...

yarn代理设置

fxtxz2的专栏

08-24

3702

yarn代理设置

手工安装CDH Hadoop 单结点

chg1226的博客

08-15

524

官方文档https://www.cloudera.com/documentation/enterprise/latest/topics/cdh_ig_cdh5_install.html#concept_gp2_q32_24先决条件安装好JDK, 设置好JAVA_HOME设置cloudera的repo cd /etc/yum.repos.d/ sudo wget https://archive.clo