Hadoop初步使用：通过web了解Hadoop的活动

最新推荐文章于 2024-08-15 22:44:45 发布
原创 最新推荐文章于 2024-08-15 22:44:45 发布 · 7.6k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文详细介绍了如何通过Web界面监控Hadoop活动，包括访问jobtracker的50030端口监控JobTracker，深入job监控界面查看MapReduce执行细节，以及通过Namenode的50070端口监控整个集群状态，并强调了查看日志的重要性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

本文是在上篇文章《Hadoop初步使用：WordCount函数示例》的基础上，通过web页面查看Hadoop的活动。

主要为：

1.通过用浏览器和http访问jobtracker所在节点的50030端口监控jobtracker

2.JobTracker监控（一），点击job链接，进入job监控界面

3.JobTracker监控（二），进入job监控界面，查看map reduce执行明细

4.通过用浏览器和http访问namenode所在节点的50070端口监控集群

5.查看日志



1.通过用浏览器和http访问jobtracker所在节点的50030端口监控jobtracker


2.JobTracker监控（一），点击job链接，进入job监控界面

最低0.47元/天 解锁文章

200万优质内容无限畅学
3、Hadoop 技术入门：从本地集群到云端处理
d3e4f的博客
07-13 6
本文介绍了 Hadoop 技术的基础知识，涵盖从本地集群部署到云端处理的完整流程。内容包括 Hadoop 2 与 YARN 的架构、Hadoop 发行版、AWS 服务（S3 和 EMR）的使用方法，以及如何配置本地环境和云端环境进行数据处理。此外，还详细讲解了如何使用 Twitter 数据集进行实验，结合 Hadoop 生态系统中的核心组件和第三方工具，实现数据收集、处理、分析与可视化，并对比了本地集群与云端处理的优劣。最后，展望了 Hadoop 技术的未来发展趋势。
4、Hadoop与YARN：分布式计算的变革之旅
最新发布
sam99的博客
06-28 7
本博客深入探讨了Hadoop的核心架构及其局限性，重点分析了HDFS和MapReduce的特点与不足，并通过倒排索引示例展示了MapReduce的实践应用。同时，博客详细介绍了YARN的引入背景、核心功能及其工作原理，比较了MapReduce 1与YARN在执行模型、资源管理等方面的差异。博客还展示了如何通过命令行和UI与YARN交互，并简要介绍了YARN应用开发的基本流程，最后展望了Hadoop与YARN在未来的发展趋势。
启动Hadoop集群时 jps查看当前开启的进程NameNode找不到
m0_46359448的博客
09-20 1874
配置hadoop环境，配置好以后在启动hadoop集群的时候 hdfs启动命令位于hadoop/sbin里面，所以需要回到解压目录执行 [root@dsj011 hadoop-3.1.3]# start-dfs.sh Starting namenodes on [dsj011] 上一次登录：一 9月 20 20:57:37 CST 2021pts/0 上 Starting datanodes 上一次登录：一 9月 20 21:03:58 CST 2021pts/0 上 dsj011: datanode is
Hadoop，Hbase启动及用web查看hadoop运行状态
2> /dev/null
09-18 2万+
一 启动顺序（对前面anz）
使用web方式查看hadoop，namenode
weixin_43955820的博客
03-10 2209
记录一下hadoop使用web的一些端口： 使用web方式查看hadoop：（浏览器输入） localhost:8088或localhost:8042 有些版本是： localhost:7363 使用web方式查看namenode： localhost:50070或localhost:9000 ...
如何启动hadoop以及如何查询hadoop服务是否起来了
u011495642的博客
11-14 3万+
重启了下虚拟机，hive连接半天都连接步上，想了想好像是hadoop都没运行。 准备运行的时候，连hadoop怎么启动都忘了，这个水平怎么面试呢。 所以赶紧记下来。 启动方式： /usr/local/hadoop/sbin$ start-all.sh 在hadoop安装目录下进sbin目录，运行以上命令。   启动完成后，输入命令jps来判断是否启动成功  若成功启动则会列出如下进程...
【hadoop】DataNode,NameNode,JobTracker,TaskTracker用jps查看无法启动解决办法
u013488563的专栏
07-20 3005
start-all.sh和jps后出现一下问题 root@ubuntu:/opt/hadoop-0.20.2/bin# sh start-all.sh starting namenode, logging to /opt/hadoop-0.20.2/bin/../logs/hadoop-root-namenode-ubuntu.out localhost: starting datanode, lo
Hadoop环境安装及HDFS初步使用
qq_67812668的博客
08-15 1417
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（ Distributed File System），其中一个组件是HDFS（Hadoop Distributed File System）。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；
Hadoop开发者入门：2010年1月特辑
"Hadoop开发者的初步学习资源，包含Hadoop介绍、国内应用情况、源代码编译教程、安装教程、应用程序编写、HBase安装、Nutch与Hadoop整合、Hive调试与应用、MapReduce原理分析及改进探讨等内容。" Hadoop是一个开源...
hadoop启动后通过jps查看进程datanode或namenode不存在问题解决
热门推荐
一轮明月半城沙
03-02 3万+
最近学习hadoop集群，在配置好集群文件通过start-all.sh启动hadoop,然后jps查看进程，正常情况下会看到 [root@master sbin]# jps 5694 SecondaryNameNode 6070 Jps 5384 NameNode 5527 DataNode 5848 ResourceManager 59
Hadoop启动顺序 | jps对应进程 | hadoop | zookeeper | hbase | spark
我是一块小石头
06-29 3348
Hadoop 启动hadoop集群后，可以通过jps命令显示当前所有java进程pid的命令，也就显示了所有与Hadoop相关的进程。 启动hadoop start-all.sh 主节点 5664 SecondaryNameNode 20898 Jps 5821 ResourceManager 5439 NameNode 从节点 21557 NodeManager 21432 DataNode 24765 Jps 启动zookeeper zkServer.sh start 启动节点新增进程
如何通过web查看job的运行情况
weixin_30588907的博客
05-07 332
　　当我们将作业提交到hadoop 的集群上之后，我们会发现一个问题就是无法通过web查看job运行情况，比如启动了多少个map任务，启动多少个reduce任务啊，分配多少个conbiner等等。这些信息都是作业在运行是可以查看的。而我的想要的就是能够通过远程的web可以查看到作业job的运行情况，以及它的详细信息。下面介绍一下查看的方式： 　　1、当你提交作业时，我们首先通过命令行的...
hadoop系列之JobTracker启动源码解析
齐梦星空
09-09 446
文章目录 本文是接着上一篇hadoop系列之使用jar命令提交任务 在上一篇我们最后画了一张图： 我们再jobClient调用init()函数的时候通过RPC获得了一个Jobtracker实例。然后在job调用submitJobInternal()的时候又调用了jobtracker的submitJob().接下来我们从submitJob()函数讲解jobtracker. ...
Hadoop入门进阶步步高（三）-配置Hadoop
weixin_34388207的博客
08-18 157
2019独角兽企业重金招聘Python工程师标准>>> ...
hadoop启动页面_Hadoop的web管理页面打不开
weixin_39870199的博客
12-19 3060
问题描述：配置好hadoop并启动后，可以正常使用hdfs和mapreduce，但是不能打开Namenode和Jobtracker的web管理界面，错误代码404。原因：该问题很有可能是由于HADOOP_HOME下面存在build文件夹引起的，将其改名后重启，问题解决。当编译过hadoop后，会生成一个build目录，仔细看hadoop的启动脚本会发现，如果build文件夹中有webapps等目录...
【Hadoop基础教程】4、Hadoop之完全分布式环境搭建
andieguo的专栏
03-05 5539
上一篇blog我们完成了Hadoop伪分布式环境的搭建，伪分布式模式也叫单节点集群模式， NameNode、SecondaryNameNode、DataNode、JobTracker、TaskTracker所有的守护进程全部运行在K-Master节点之上。在本篇blog我们将搭建完全分布式环境，运行NameNode、SecondaryNameNode、JobTracker守护进程在主节点上，运行Da
查看NameNode状态和JobTracker状态
xcmax
03-29 3223
http://localhost:50070/dfshealth.jsp – Web UI of the NameNode daemon    http://localhost:50030/jobtracker.jsp – Web UI of the JobTracker daemon    http://localhost:50060/tasktracker.
大数据学习(四)web控制面板和hdfs常用命令
Braylon的博客
12-22 529
web控制面板 这是非常直观的查看我们的集群状态和文件系统内容的一个web端的dashboard如果大家安装过httpd或者其他服务器的话应该就会很好的理解了。 步骤 首先打开集群，具体命令和过程可以参考我原来的blog，然后查看ip地址，然后如果你没有对端口做任何的配置那么默认的端口就是50070。那么直接打开你本机的web浏览器输入IP:50070就得到如下图所示： 这很简单。当然别忘记...
hdfs操作命令
m0_55834564的博客
04-05 1815
目录 1.重启防火墙 2.关闭防火墙 3.查看进程 4.启动hdfs 5.启动hadoop集群 6.关闭HDFS 7.关闭hadoop集群 8.显示所有dataNode 9.将本地文件上传到 hdfs 上（原路径只能是一个文件） 10.和 copyFromLocal 区别是，put 原路径可以是文件夹等 12.查看/tmp/data目录 13.查看 a.txt，与 -text 一样 14.创建目录dir 15.删除目录dir 16.从HDFS中得到文件 17.重启操作系统
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值