hadoop常用接口及管理页面及问题收集

本文介绍Hadoop集群中关键端口的作用,包括访问管理页面的50070端口、Yarn管理页面的8088端口及节点管理页面的8042端口。同时,解决端口访问问题,如防火墙关闭方法,并指导如何通过启动作业历史守护进程获取mapreduce作业日志。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

50070端口:访问hadoop管理页面

8088端口:访问Yarn管理页面

8042端口:从节点node管理页面,可查看节点的MR任务处理信息(Tools ---> Local logs)

注:windows下访问UI管理页面时,需设置“C:\Windows\System32\drivers\etc\hosts”文件,添加各节点主机名,方便访问。

常见问题收集:

问题1:端口无法访问的解决方法:Linux关闭防火墙操作

问题2:mapreduce无作业输出日志:

mapreduce的作业日志存放于目录“hadoop/logs/userlogs/”下,需要另外开启作业历史守护进程

--启动mapreduce的作业历史守护进程
> /opt/hadoop/sbin/mr-jobhistory-daemon.sh start historyserver

 参考链接:1.Hadoop 2.6 日志文件和MapReduce的log文件 

问题3:windows下无法访问ApplicationMaster的跟踪URL,因为链接地址中的master无法解析所致

解决方法:向hosts文件中追加静态IP和主机名
C:\Windows\System32\drivers\etc\hosts
192.168.190.200 master
192.168.190.201 slave1

参考链接:1.集群常见错误解决方案

 

 

 

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值