limengliang4007的博客

问题导读：1、什么是yarn？2、Yarn 和MapReduce相比，它有什么特殊作用 ？背景Yarn是一个分布式的资源管理系统，用以提高分布式的集群环境下的资源利用率，这些资源包括内存、IO、网络、磁盘等。其产生的原因是为了解决原MapReduce框架的不足。最初MapReduce的committer们还可以周期性的在已有的代码上进行修改，可是随着

处理复杂的要求的时候，有时一个mapreduce程序时完成不了的，往往需要多个mapreduce程序，这个时候就要牵扯到各个任务之间的依赖关系，所谓依赖就是一个M/R Job 的处理结果是另外的M/R 的输入，以此类推，完成几个mapreduce程序，得到最后的结果，下面将直接贴出一个例子的全部代码，因为为了找一个完整的例子实在是太难了，今天找了半天才把这个问题解决。         

开始聊mapreduce，mapreduce是hadoop的计算框架，我学hadoop是从hive开始入手，再到hdfs，当我学习hdfs时候，就感觉到hdfs和mapreduce关系的紧密。这个可能是我做技术研究的思路有关，我开始学习某一套技术总是想着这套技术到底能干什么，只有当我真正理解了这套技术解决了什么问题时候，我后续的学习就能逐步的加快，而学习hdfs时候我就发现，要理解hadoop框架

新增的Java MapReduce APIHadoop的版本0.20.0包含有一个新的 Java MapReduce API，有时也称为"上下文对象"(context object)，旨在使API在今后更容易扩展。新的API 在类型上不兼容先前的API，所以，需要重写以前的应用程序才能使新的API发挥作用。新增的API 和旧的API 之间，有下面几个明显的区别。

一.读后感        最近读完了《Hadoop.The.Definitive.Guide.4th.Edition.2015.3》英文第4版，个人感觉这本书是hadoop目前最权威、最全面、最靠谱的书籍，强烈建议大家好好研读。不建议大家去读hadoop权威指南第1版、第2版和第3版，第3版我也看完了，但是里面的知识已经与当前Apache hadoop 2.X严重脱节，比如第3版还在大篇幅...

1. 查看进程，从以下可以看出DataNode并没有启过来[root@S1PA124 current]# jps23614 Jps9773 SecondaryNameNode9440 NameNode4480 NetworkServerControl10080 NodeManager14183 Bootstrap9948 ResourceManager2、查看datanod...

查看Hadoop任务日志:https://blog.youkuaiyun.com/qq_36291682/article/details/79438369UDF：https://blog.youkuaiyun.com/u010376788/article/details/50532166UDF写入日志：https://blog.youkuaiyun.com/conggova/article/details/77606238...