Hadoop学习笔记二

最新推荐文章于 2021-02-26 22:12:25 发布
转载 最新推荐文章于 2021-02-26 22:12:25 发布 · 711 阅读 · 0

本文详细介绍了Hadoop中Job的状态转换流程，包括从PREP到RUNNING再到SUCCEEDED、FAILED或KILLED的条件与事件。同时，还介绍了Hadoop 1与Hadoop 2中进程ID保存路径及内存配置的区别。

1、Job的状态及状态转换：

job总共有5种状态（PREP、RUNNING、SUCCEEDED、FAILED、KILLED），其转换及其对应的事件

  • PREP -> RUNNING：作业的Setup Task(job-setup Task)成功执行完成
  • PREP -> FAILED/KILLED：人为使用Shell命令杀死作业，即bin/hadoop job [-kill|-fail] <jobid>
  • RUNNING -> SUCCEEDED：作业的Clean Task(job-clean Task)执行成功
  • RUNNING ->  FAILED：多种情况可导致该状态转移，包括人为使用Shell命令杀死作业，作业的Cleanup/Setup Task运行失败和作业失败的任务数超过了一定比例
  • RUNNING -> KILLED：人为使用Shell杀死作业

2、hadoop2中，yarn、namenode等进程ID默认保存在/tmp目录下，可以在yarn-daemon.sh、hadoop-daemon.sh中通过修改YARN_PID_DIR、HADOOP_PID_DIR来指定目录

3、hadoop1中，MR的内存大小由mapred.child.java.opts配置，默认200M，在hadoop2中，MR的内存大小分别由mapreduce.map.memory.mb和mapreduce.reduce.memory.mb配置，默认也调整到1024

Yarn 资源调度全面解析
qq_39712666的博客
09-22 479
远在 Hadoop v1 版本时期，Yarn 还没有出现，资源管理是和 Hadoop 耦合在一起的，我们没法在 Hadoop 集群运行除了 MapReduce 以外其他计算框架的任务，在策略和管理上也没那么成熟。Yarn 的出现可是说是为 Hadoop 生态圈大数据技术的百花齐放奠定了一个基础，一直到目前为止 Yarn 仍然是在大数据领域最常用的一个资源调度框架，Spark/Flink/Hive ...
TaskTracker LaunchTask过程与CleanTask过程
风之谷
12-11 2095
UHP博客文章地址：http://yuntai.1kapp.com/?p=525 原创文章，转载请注明出处：http://blog.youkuaiyun.com/wind5shy/article/details/8283534 LaunchTask执行流程 TaskTracker.run()->offerService() TaskTracker实现了Runnabl
[mapred yarn常用命令]
努力努力再努力博客
03-12 494
一般我们需要用命令的时候，却不知道命令是什么，那么这种情况下我们如何去查看自己需要的命令呢，接下来，我将带大家看一下如何查看命令帮助： [hadoop@hadoop002 bin]$ mapred --help Usage: mapred [--config confdir] COMMAND where COMMAND is one of: pipes ...
完美解决WARNING: YARN_LOG_DIR has been replaced by HADOOP_LOG_DIR. Using value of YARN_LOG_DIR.
qq_45773650的博客
07-20 4507
如上述清理，启动正常，就是报警告，看着心里痒痒的。 解决方案： 主要是/etc/profile里文件的错误，用命令：vim /etc/profile ,之后把报错的所在一行名字注销了，如我的YARN_LOG_DIR,如图 之后source /etc/profile，是文件立即生效，注意从机不要忘记操作，每一个都需要这样做，之后重新启动，命令： start-all.sh 就ok了 若是还报错，就没有虚拟操作系统都重启一下，我的就是这样好的。 ...
Hadoop之JobTrack分析
ToBeAndNotToBe的专栏
01-09 7071
1.client端指定Job的各种参数配置之后调用job.waitForCompletion(true) 方法提交Job给JobTracker，等待Job 完成。 public void submit() throws IOException, InterruptedException, ClassNotFoundException
Hadoop学习笔记
02-26
Hadoop学习笔记，自己总结的一些Hadoop学习笔记，比较简单。
Hadoop 学习笔记.md
06-12
Hadoop 学习笔记.md
最新Hadoop学习笔记
08-25
**Hadoop学习笔记详解** Hadoop是一个开源的分布式计算框架，由Apache基金会开发，主要用于处理和存储海量数据。它的核心组件包括HDFS（Hadoop Distributed File System）和MapReduce，两者构成了大数据处理的基础...
Hadoop监控方法总结
热门推荐
jason的专栏
01-03 1万+
接触Hadoop已经一年半了，期间积累了一些Hadoop运维经验，一直想自己开发一套Hadoop监控系统，正好最近实验室有个相关的项目，就借机研究了一下，在这里总结一下Hadoop监控办法。 一直认为Hadoop本身自带的HDFS和JobTracker监控页面是最好用的监控页面，简单明了。但是现在想要自己开发一套监控系统，那该怎样去获取Hadoop集群的当前状况呢？ 网页抓取 首先，想到
【hadoop】job提交全过程
inner Peace的博客
06-08 9177
一、作业提交过程之 YARN（1）作业提交第 0 步：client 调用 job.waitForCompletion 方法，向整个集群提交 MapReduce 作业。第 1 步：client 向 RM 申请一个作业 id。第 2 步：RM 给 client 返回该 job 资源的提交路径和作业 id。第 3 步：client 提交 jar 包、切片信息和配置文件到指定的资源提交路径。第 4 步：c...
hadoop作业初始化过程详解（源码分析第三篇）
weixin_34049032的博客
01-09 224
（一）概述    我们在上一篇blog已经详细的分析了一个作业从用户输入提交命令到到达JobTracker之前的各个过程。在作业到达JobTracker之后初始化之前，JobTracker会通过submitJob方法，为每个作业都创建一个JobInProgress对象(本文以后简称JIP)，用于维护作业的运行时信息以及监控正在运行作业的运行状态和进度。然后检查提交作业的用户是否具有指定队列的作业提...
大数据学习-Hadoop-Job提交源码分析
一碗糊涂虫的博客
11-10 253
由于近期有想转大数据行业的想法，所以开始研究大数据，我也会慢慢的将我的学习资料发到平台上来，今天带大家看一下Hadoop的MapReduce的Job提交工作的源码分析！ 代码大致流程 Driver类调用waitForCompletion方法 job.waitForCompletion(true); 首先执行submit方法 进行异常判断 ensureState(JobState.DEFINE); API转换 setUseNewAPI(); 连接创建 connect(); 创建提交job代理 ne
关于oozie出现在执行workflow中出现prep的问题
gezhu5826的博客
12-04 1655
1.问题： 2.问题排查: 查看本地job.properties的配置 nameNode=hdfs://hadoop1:8020jobTracker=hadoop1:8021 queueName=default examplesRoot=examples oozie.wf.application.path=${nameNode}/user/${user.name}/${examples...
Hadoop就业面试题
weixin_34055910的博客
06-16 4486
----------------------------------------------------------------------------- [申明：资料来源于互联网] 本文链接：http://blog.youkuaiyun.com/sdksdk0/article/details/51695341 编辑：朱培 ID：sdksdk0 -------...
hadoop pid文件及如何修改路径
烙痕丷的博客
07-07 3580
pid内容为各进程的进程号通过ps -ef | grep a  查询a的pid，精确杀死某进程[hadoop@hadoop000 sbin]$ cat hadoop-daemon.sh |grep pid#   HADOOP_PID_DIR   The pid files are stored. /tmp by default.（pid默认存储在/tmp目录）pid=$HADOOP_PID_DIR...
修改hdfs和yarn的pid文件位置
JcJJJJCc的博客
02-26 1050
https://blog.youkuaiyun.com/qq_37408712/article/details/80954615 由于启动hdfs和yarn时，它们的pid文件默认生成在/tmp下，/tmp内的数据一段时间后会被系统自动删除，而关闭hdfs和yarn又需要它们各自的pid文件 因此为了避免hdfs长期未关闭后，使用脚本关闭hdfs和yarn时会报错 no namenode/nodemanager/XXXX to stop 的情况。这里对pid文件的位置进行修改 /tmp目录默认一个月清理一次临时文件.
Hadoop专业解决方案-第3章：MapReduce处理数据
weixin_33775572的博客
05-22 604
前言：非常感谢团队的努力，最新的章节终于有了成果，因为自己的懒惰，好久没有最新的进展了，感谢群里兄弟的努力。 群名称是Hadoop专业解决方案群  313702010 本章主要内容： ★理解MapReduce基本原理 ★了解MapReduce应用的执行 ★理解MapReduce应用的设计 截止到目前，我们已经知道Hadoop如何存储数据，但Hadoop不仅仅是一个高可用 的，规模巨...
Hadoop大数据面试题全
05-22 527
以下资料来源于互联网，很多都是面试者们去面试的时候遇到的问题，我对其中有的问题做了稍许的修改了回答了部分空白的问题，其中里面有些考题出的的确不是很好，但是也不乏有很好的题目，这些都是基于真实的面试来的，希望对即将去面试或向继续学习hadoop，大数据等的朋友有帮助！ 前言 有...
Hadoop学习笔记与实例教程
### Hadoop 2.x学习笔记 #### Hadoop 2.x新特性 Hadoop 2.x相较于Hadoop 1.x最大的改进之一是引入了YARN（Yet Another Resource Negotiator）。YARN的引入解决了Hadoop 1.x中的单点故障问题，并提供了更有效的资源...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值