hadoop程序在web界面观察不到作业运行情况的问题

最新推荐文章于 2024-05-06 11:16:38 发布
原创 最新推荐文章于 2024-05-06 11:16:38 发布 · 957 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍如何使用IDEA连接Hadoop并正确展示作业运行状态。要实现这一点，不能直接在本地运行，而是需要将程序打包成jar包，并通过Hadoop jar命令在集群上运行。这样操作之后，才能在Hadoop的Web界面上观察到作业的运行情况。

在IDEA本地连接hadoop运行的时候，在web界面是观察不到的，需要打包成jar包，传递到集群上再Hadoop jar xx.jar运行才可以在web界面观察到作业运行情况。

 

hadoop组件---spark实战----spark on k8s模式k8s原生方式spark2.4.4 通过web UI界面查看任务运行情况
直到世界的尽头
02-25 2439
一般我们在运行spark任务时，需要查看他的运行情况。 比较常用的方式就是在spark的UI界面上查看。 一般的spark 因为driver所在的node是固定的，ip也就是固定的，所以能够通过ip或者域名映射后即可很方便的进行访问。 spark on k8s比较特别的是 driver是一个在k8s集群中临时启动的pod，它一般没有外部ip，只有k8s的内部ip，同时这个内部ip 每次driver...
Hadoop集群web界面上传文件或者切换文件夹报错
lkq_kai的博客
11-13 2724
报错 在namenode的web界面上传或者切换文件夹时出现红色报错，如下图 分析 右键进入到浏览器的检查界面，出现如下的界面 发现这个界面在调用时是使用hadoop102:9870的路径和端口号进行上传文件，这是因为在进行文件配置时是使用的虚拟机的名称进行配置，如下图所示 因为浏览器是在windows系统中的，所以无法根据hadoop102:9870获取到，所以需要对路径的别名进行定义 解决 进入windows系统路径 C:\Windows\System32\drivers\etc ，找到hosts
Hadoop集群搭建【web端不显示从节点问题】
暴走的二哈
03-22 3034
系统：CentOS7 环境：jdk8 版本：hadoop-2.7.7 结构 hadoop01 namedata、nodedata hadoop02 nodedata hadoop03 nodedata 配置 hadoop-2.7.7/etc/hadoop/hadoop-env.sh export JAVA_HOME=/opt/app/jdk1.8.0...
Hadoop2.8.1 YARN 作业运行正常，但web查看不了作业进度，求解
luotwodog的博客
06-10 1872
各个节点运行正常，jps各个进程都起来了，但是提交作业时，在终端有显示，但web并无记录
hadoop命令行运行wordcount程序 web端监控不到作业状态
tangtang5156的专栏
11-06 1万+
在命令行或者是Eclipse远程连接运行Wordcount程序后，在页面8088端口号监控，始终没有变化，显示application为空。 修改集群配置文件yarn-site.xml，加上如下几句：         mapreduce.framework.name         yarn 重启运行wordcount，页面有作业显示，如下 但是作业运行失败，报错： 14/1
Hadoop 启动后打不开overview页面
翼幻幻幻幻的博客
02-28 1358
Hadoop3.x以后端口号从50070改到了9870 使用namenode机器的ip + 9870即可跳转
[Hadoop异常处理] Namenode和Datanode都正常启动,但是web页面不显示
qq_38472574的博客
07-22 474
[Hadoop异常处理] Namenode和Datanode都正常启动,但是web页面不显示
hadoop无法访问web界面
最新发布
02-23
对于Hadoop集群中的Web界面无法访问这一问题，通常涉及网络配置、防火墙设置以及服务状态等多个方面。具体来说： 当遇到Hadoop Web UI不可访问的情况时，应首先确认NameNode和其他关键组件的服务运行状况。通过...
上传文件到Hadoop失败的原因分析及解决方法.pdf
11-24
在 Tomcat 中观察运行结果，可以发现出现了 Exception“org.apache.hadoop.security.AccessControlException: Permission denied: user=bikun,access=WRITE, inode="/user":user:supergroup:drwxr-xr-x”。...
hadoop 启动后yarn不能监控问题记录
xishanxinyue的专栏
04-08 2586
hadoop 启动后yarn不能监控问题： 现象：启动各个节点成功 包括resourceManager 但是监控页面无法监控job task masterapplication 日志无异常。 可能原因：centos主机名和ip绑定的配置文件/etc/hosts 中 127.0.0.1 后也绑定了主机名hadoop1。 导致节点之间通讯异常。并且无法远程访问hadoop主节点。
hadoop进程WEB无法访问的问题
涛哥的博客
12-25 8826
背景：PC系统从Win7升级到Win10。重新安装hadoop，配置正常，进程启动正常，老实关闭防火墙，WEB无法访问节点的任何端口。 问题描述： PC系统升级，虚拟机安装ubuntu16.4.0。按部就班的安装JDK和HADOOP，配置环境变量；配置HADOOP中各个配置文件，且namenode等端口均使用默认端口；关闭防火墙，启动hdfs进程；查看hadoop进程，以及启动的监听端口，OK
Hadoop 2.8.5在ResourceManager（YARN管理界面）查看任务执行状态
qq_44705678的博客
07-09 6426
在使用hadoop自带的wordcount之后，在hdfs的web界面(2.8.5版本为端口50070)可以看见任务完成 但在8088的ResourceManager中看不见 原因是没有打开JobHistory Server JobHistory Server详解 它的作用我还没搞懂 在hadoop/sbin目录下，输入 mr-jobhistory-daemon.sh start history...
Hadoop平台执行Wordcount程序
兮小熙的博客
02-22 1264
之前搭建好了hadoop的伪分布式环境，今天跑一下hadoop自带的wordCount程序1.在root目录下新建一个文本文档命名为test ，输入一段英文到此文本中 2.将文本文件上传到 hdfs 文件系统中的 input 目录下，打开命令行，输入如下命令hadoop fs -copyFromLocal /root/test input（注：如果 dfs 中不包含 input 目录的话就
Hadoop批处理作业提交问题运行监控--问题解决
weixin_30710457的博客
11-20 134
1. Slave节点NodeManager启动，但是datanode未启动 首先检查datanode启动节点上hadoop-2.7.2/hdfs/data/current/VERSION中的clusterid是否和namenode同目录下clusterid一致 然后在看storageid是否存在 2. 用Hibench提交作业出现的问题 du: `hdfs://centos35:9000/...
Hadoop配置日志的聚集——jobhistory不显示任务问题_jobhistory页面看不到任务
2401_84181481的博客
05-06 367
到这里都没有错，找了半天发现是前面配置的mapred-site.xml出错了，就是如果设置日志聚集的话，前面配置的mapred-site也需要修改一下配置。3.关闭NodeManager 、ResourceManager和HistoryServer。4.启动NodeManager 、ResourceManage和HistoryServer。修改以后在分发一下，重新启动就好了，运行命令也有记录了。yarn框架没有配置。
hadoop3.0.0运行mapreduce(wordcount)过程及问题总结
科研糖
04-24 1万+
配置并启动hadoop，启动hadoop后无datanode问题，运行wordcount过程，WEB端查看不到提交的job和对应application记录问题，container-launch异常问题。
hadoop集群执行jar wordcount 没有输出结果
weixin_43734734的博客
04-20 1444
时，第一次执行报错Could not find or load main class ，参照csdn博客。能够正常的执行wordcount jar 并且hdfs能正常生成。2.在yarn-site.xml里添加1的输出结果。这时候能正常执行程序，但hdfs无输出结果。依旧没解决问题，直到我翻阅博客找到一条留言。然后我加上/word.txt再次执行。在执行Hadoop集群运行。
hadoop集群进行计算得不到结果
weixin_47109902的博客
02-06 636
使用hadoop集群hadoop102 hadoop103 hadoop104在统计hadoop-3.1.3/wcinput/word.txt中出现名字的次数时，在hdfs网页上未显示wcoutput计算结果。
hadoop3访问hdfs web控制页面遇到的各种问题总结
热门推荐
u011489186的博客
12-24 1万+
浏览器访问hdfs web遇到的问题
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值