hadoop点击AM所在node节点的logs链接报错 "Sorry, got error 404"

最新推荐文章于 2024-10-20 19:18:26 发布
原创 最新推荐文章于 2024-10-20 19:18:26 发布 · 2.5w 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hadoop #集群 #am #error404 #logs

在尝试访问Hadoop集群中FINISHED或FAILED任务的日志时遇到错误，寻求解决方法。

问题描述

  1. 打开hadoop 集群地址,hostname:8088
  2. 选择任何一个已经FINISHED或者FAILED的任务,然后点击 appplicationID ,比如:application_1439618500064_1100
    这里写图片描述
  3. 进去ApplicationMaster 信息页面
    这里写图片描述
  4. 点击logs链接就报错如下
    这里写图片描述
    这里写图片描述

求助

目前 感觉这个问题很诡异,也从来没有遇到过,大家有遇到的么?求指导~,THX

Hadoop格式化zkfc报错：Got a fatal error, exiting now java.net.UnknownHostException: shi2: 未知的名称或服务
hair请的的博客
10-30 1619
目录 说明 报错内容 报错原因 解决方案 其他 说明 主机名：zui1 zui2 zui3 临时文件存放位置：/opt/hadoop-repo/ 报错内容 20/10/30 10:27:52 FATAL tools.DFSZKFailoverController: Got a fatal error, exiting now java.net.UnknownHostException: shi2: 未知的名称或服务 at java.net.Inet4AddressI...
Hadoop3.2.0运行wordcount程序报错Please check whether your etc/hadoop/mapred-site.xml contains the below
QYHuiiQ
10-12 1619
将修改后的文件同步到集群中的其他节点上，不需要重启集群，重新运行原来自己要执行的程序即可正常执行。
YARN的架构
孙坤的博客
10-23 496
6.1 YARN的架构   下图展示了基于YARN的集群的架构，这个集群的模块主要有以下5种类型。 资源管理器（Resource Manager，RM）：每个集群里面都有一个RM守护进程，专门负责集群中可用资源的分配和管理。节点管理器（Node Manager，NM）：每个节点都有一个NM守护进程，负责节点的本地资源管理。在RM中...
hadoop Application 里面打不开Node和Logs
john_deng2的博客
12-15 1211
hadoop查询logs的时候，点击Logs打不开，http://hadoop02:8042/node/containerlogs/container_1576407055936_0003_01_000001/root。然后经过查询资料，了解到是因为我们这里用了主机名，所以打开不了，需要在window上面设置才可以。 解决方法： 在C:\Windows\System32\drivers\etc 下...
Hadoop 安装教程——单节点模式和分布式模式配置
最新发布
weixin_44814196的博客
10-20 2457
如果要使用可选的启动和停止脚本，则必须安装 ssh 并且运行 sshd 才 能使用管理远程 Hadoop 守护进程的 Hadoop 脚本。：在多台机器上部署 Hadoop 集群，每个节点上运行不同的 Hadoop 组件。事实上，在没有使用 sudo 的情况下依旧可以运行，我们可以考虑直接为用户增加管理员权限。：在单台机器上模拟分布式环境，Hadoop 各组件在不同的进程中运行。因此，我们需要配置无密码登录。Hadoop 可以在单节点上以伪分布式的方式运行，Hadoop 进程以分离的 Java 进程来运行。
node节点kubelet报错 node “xxxxx“ not found
m0_60721514的博客
02-28 5064
11月 05 10:58:35 localhost.localdomain kubelet[974]: E1105 10:58:35.108952 974 kubelet.go:2412] "Error getting node" err="node "localhost.localdomain" not found" 11月 05 10:58:35 localhost.localdomain kubelet[974]: E1105 10:58:35.209293 974 kubelet.g
Hadoop集群添加、删除节点
oToyix的博客
07-06 3273
hadoop群集部署，请见上篇 https://blog.youkuaiyun.com/oToyix/article/details/118520585 一、Hadoop节点扩容 随着公司业务不断的发展，数据量也越来越大，此时需要对Hadoop集群规模进行扩容，在现有Hadoop 3台集群的基础上动态增加node4服务器上的DataNode与NodeManager节点。操作方法和步骤如下： 1、Hosts及防火墙设置 node1、node2、node3、node4节点进行如下配置： cat >/etc/hosts
hadoop的log日志查错
u012302488的博客
03-16 2574
1.stderr http://datanode31:8042/node/containerlogs/container_1457675328277_0208_01_000002/***/stderr?start=0 即可转到相应datanode上查错。 2. kill 3.warn
yarn 集群部署，遇到的问题小结
uniquechao的专栏
05-21 2万+
1. Application Master 无法访问     点击application mater 链接，出现 http 500 错误，java.lang.Connect.exception：     问题是由于设定web ui时，50030 端口对应的ip地址为0.0.0.0，导致application master 链接无法定位。 解决办法:
hadoop 日志存放位置总结
热门推荐
Java海洋
03-01 3万+
初学者运行MapReduce作业时，经常会遇到各种错误，由于缺乏经验，往往不知所云，一般直接将终端打印的错误贴到搜索引擎上查找，以借鉴前人的经验。然而，对于hadoop而言，当遇到错误时，第一时间应是查看日志，日志里通产会有详细的错误原因提示，本文将总结Hadoop MapReduce日志存放位置，帮助初学者定位自己遇到的错误。Hadoop MapReduce日志分为两部分，一部分是服务日志，
hadoop全分布式环境配置-访问slave节点路径不存在问题
GPF的博客
04-24 1197
若是在一个集群上配置hadoop的环境，首先是在某一台机器上配置hadoop环境，然后再分发到集群中的所有节点，那么前提是在所有的机器上必须是相同的用户账号，换句话来说，就是必须保证所有配置的环境的变量的路径相同，这样才能配置成功，所以必须有相同的用户，而且保证hadoop的文件，以及java的文件的路径，在所有的集群上是一致的。这是最简单的方式，当然也可以在所有的节点上进行配置。这样就不要求路径一
AM,NM,Container
方法属性类，一个都不会
08-02 1366
Application Master （AM ）  管理 YARN 内运行的应用程序的每个实例。  完成数据切分，并为应用程序申请资源并进一步分配给内部任务。  负责协调来自 resource manager的资源，并通过 node manager 监视容易的 执行和资源使用情况。 Node Manager （NM ） Node manager 整个集群有多个，负责每个节点上的资源和使用。负责单个 节点上的资源管理和任务，处理来自于 resource manager的命令，处理来自域 app mas
笔记：1、Hadoop集群配置中的坑-【slave节点上的datanode启动失败】
yueping0718的专栏
05-21 1万+
1、slave节点上的datanode启动失败，有一种原因是没有配置etc/hosts观察slave节点的 logs/hadoop-root-datanode-hadoop2.log(备注:hadoop2是我的slave主机名)出现如下错误代码：ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed ...
解决Hadoop2.9.2在Windows环境下报错的方法
在探讨如何在Windows环境下搭建和配置Hadoop 2.9.2环境时，首先需要了解Hadoop的基本架构和它所依赖的组件。Hadoop是一个开源的框架，允许分布式存储和处理大量数据，是大数据分析的重要工具。它主要由两部分组成：...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值