
hadoop
~Erin
认真你就输了。但是坚持一直认真你就赢了
展开
-
mapreduce书写遇到的问题总结
1.mapreduce本地运行:1)导入jar包,找到hadoop的安装目录HADOOP_HOME就可以找到这些jar包HADOOP_HOME/share/hadoop/common目录下的hadoop-common-2.7.1.jar和haoop-nfs-2.7.1.jar;HADOOP_HOME/share/hadoop/common/lib目录下的所有JAR包;HADOOP_HO...原创 2019-12-20 15:45:49 · 803 阅读 · 0 评论 -
yarn的详解
yarn是什么?yarn是hadoop集群的资源管理系统,是hadoop2中引入的。最初的目的是为了改善MapReduce的实现。hadoop为什么引入yarn?解释这个问题之前我们先来了解一下hadoop1中mapreduce的运行机制。具体流程如下:1).客户端通过submit()方法提交作业2).submit()方法会创建一个内部的JobSummiter实例,并且调...原创 2019-12-12 17:18:09 · 835 阅读 · 0 评论